基于視覺(jué)與語(yǔ)音的新型鼠標(biāo)研究.pdf

1、普通鼠標(biāo)是一種手動(dòng)的傳統(tǒng)交互方式，滿足不了特殊人群的需求，譬如手臂殘疾的人和游戲愛(ài)好者就期望采用多種交互方式來(lái)操作PC。隨著圖像、視覺(jué)核心算法的發(fā)展，語(yǔ)音識(shí)別的理論和應(yīng)用研究的進(jìn)展，再加上CCD、CMOS圖像傳感器制造工藝的成熟，為基于視覺(jué)與語(yǔ)音的鼠標(biāo)實(shí)現(xiàn)提供了條件。 本文主要的研究是基于視覺(jué)與語(yǔ)音的新型鼠標(biāo)。首先對(duì)各種視覺(jué)跟蹤算法的實(shí)現(xiàn)方法進(jìn)行探討。在充分了解各種算法優(yōu)缺點(diǎn)的基礎(chǔ)上，系統(tǒng)采用鼻子特征跟蹤的方法來(lái)作為鼠標(biāo)的光標(biāo)移

2、動(dòng)，采用眼睛睜合判斷的方法作為鼠標(biāo)按鍵的操作，用HALCON視覺(jué)處理軟件對(duì)各算法進(jìn)行仿真，并在VisualBasic中調(diào)用HALCON庫(kù)函數(shù)加以實(shí)現(xiàn)。另外，鼠標(biāo)按鍵的操作還可選用語(yǔ)音識(shí)別的方式來(lái)實(shí)現(xiàn)，文中用MATLAB仿真實(shí)現(xiàn)了DTW(動(dòng)態(tài)時(shí)間規(guī)整)算法，該算法訓(xùn)練方法簡(jiǎn)單，計(jì)算量小，適合于本系統(tǒng)的設(shè)計(jì)。采用VisualBasic與Matlab混編的方式在VisualBasic中調(diào)用創(chuàng)建的COM組件，實(shí)現(xiàn)語(yǔ)音識(shí)別的功能，進(jìn)行性能測(cè)試。將

3、視覺(jué)跟蹤模塊與語(yǔ)音識(shí)別模塊結(jié)合起來(lái)，根據(jù)基于視覺(jué)與語(yǔ)音鼠標(biāo)的體系結(jié)構(gòu)進(jìn)行設(shè)計(jì)，編寫(xiě)全部程序進(jìn)行系統(tǒng)的整體調(diào)試，調(diào)試成功后進(jìn)行預(yù)定的實(shí)驗(yàn)，記錄實(shí)驗(yàn)結(jié)果。將視覺(jué)與語(yǔ)音技術(shù)應(yīng)用于鼠標(biāo)中，在國(guó)內(nèi)還沒(méi)有人開(kāi)發(fā)研究，這無(wú)疑很有研究的價(jià)值，具有一定的市場(chǎng)潛力。 從完成的設(shè)計(jì)表明，基于視覺(jué)與語(yǔ)音的方案可以完成鼠標(biāo)的基本功能，而且可以適用于特殊人群。但本系統(tǒng)還處于研究設(shè)計(jì)階段，還不夠完善，后續(xù)工作將主要圍繞算法性能的提高，程序的優(yōu)化以及其他一些細(xì)