基于WebRTC的殘疾人鼠標(biāo)研究及應(yīng)用.pdf

1、基于視覺(jué)的手勢(shì)識(shí)別是當(dāng)前人機(jī)交互研究中的一個(gè)重點(diǎn)和熱點(diǎn)。本文總結(jié)了典型視覺(jué)手勢(shì)識(shí)別即包括圖像采集、圖像預(yù)處理、手勢(shì)分割、手勢(shì)建模、特征提取和分類識(shí)別數(shù)個(gè)步驟的工作流程，詳細(xì)比較其中手勢(shì)識(shí)別步驟所使用的基于靜態(tài)手形結(jié)構(gòu)信息和基于動(dòng)態(tài)手勢(shì)運(yùn)動(dòng)軌跡的識(shí)別算法的異同。本文主要針對(duì)單目視覺(jué)下的實(shí)時(shí)殘疾人手勢(shì)識(shí)別進(jìn)行了研究，單目視覺(jué)即利用計(jì)算機(jī)的單個(gè)攝像頭對(duì)手勢(shì)信息進(jìn)行獲取以供處理和研究。
　　 本文將傳統(tǒng)的視覺(jué)手勢(shì)識(shí)別應(yīng)用到殘疾人人機(jī)交互

2、中，基于手勢(shì)識(shí)別和WebRTC框架提出了殘疾人鼠標(biāo)系統(tǒng)的設(shè)想。系統(tǒng)采用B/S架構(gòu)，將圖像獲取、命令執(zhí)行和圖像匹配分離，瀏覽器只負(fù)責(zé)圖像獲取和鼠標(biāo)操作的模擬，服務(wù)器端完成對(duì)客戶端瀏覽器透明的圖像匹配和命令反饋。引入HTML5中的新特性WebRTC和WebSocket使得可以瀏覽器獲取殘疾人可控物體圖像和并向服務(wù)器端提交。B/S架構(gòu)的設(shè)計(jì)使得系統(tǒng)可以構(gòu)建于云環(huán)境并具有良好的擴(kuò)展性、伸縮性和可定制性。
　　 在服務(wù)器端手勢(shì)識(shí)別模塊的實(shí)

3、現(xiàn)上，本文先后提出了基于靜態(tài)手勢(shì)識(shí)別和基于動(dòng)態(tài)手勢(shì)跟蹤的兩種圖像匹配算法:
　　 基于靜態(tài)手勢(shì)識(shí)別的算法中使用形狀比例和轉(zhuǎn)角函數(shù)等進(jìn)行特征抽取，使用背景差分和歐式距離進(jìn)行圖像匹配，在快速響應(yīng)的同時(shí)保證匹配的正確率。實(shí)驗(yàn)表明此算法已經(jīng)達(dá)到我們初期的設(shè)計(jì)目的，具有可接受的延遲，但是可能出現(xiàn)可控物體自身形態(tài)結(jié)構(gòu)特征區(qū)分度不夠的問(wèn)題。
　　 基于動(dòng)態(tài)手勢(shì)跟蹤的算法使用CamShift跟蹤可控物體，記錄可控物體運(yùn)動(dòng)軌跡，結(jié)合可控物