基于Kinect的中國手語識別研究.pdf

1、手語是聾啞人通過手和手臂，同時(shí)輔助頭部動作、臉部表情和肢體姿態(tài)進(jìn)行交流的語言。手語識別利用模式識別技術(shù)，通過分析手和手臂的動作特征，并將特征序列作為分類器的輸入進(jìn)行分類識別任務(wù)，最終將手語翻譯為文字或者聲音輸出，實(shí)現(xiàn)聽力障礙人群和正常人的正常交流。本文主要研究中國手語識別。
　　本文利用Kinect攝像頭進(jìn)行手語識別，立足于交互方式上的改變，結(jié)合Kinect提供的深度數(shù)據(jù)和人體骨骼點(diǎn)數(shù)據(jù)，探討了手語特征提取和融合;針對獨(dú)立詞手語和

2、連續(xù)手語采用不同的分類器識別，極限學(xué)習(xí)機(jī)(Extreme LearningMachine，ELM)算法用于獨(dú)立詞識別效果較好，條件隨機(jī)場(Conditional RandomFields，CRF)及其分支理論潛在動態(tài)條件隨機(jī)場(Latent Dynamic ConditionalRandom Fields，LDCRF)常用于自然語言序列處理，本文嘗試將其用于解決連續(xù)手語分割和識別的問題，主要工作如下:
　　首先，分析了手語識別問題

3、的研究背景和意義，綜述了目前手語識別研究的國內(nèi)外現(xiàn)狀以及存在的主要問題，介紹了本文的主要內(nèi)容和章節(jié)框架。
　　第二，研究了基于Kinect的手語數(shù)據(jù)獲取和預(yù)處理。手語數(shù)據(jù)獲取的方式主要有攝像頭，數(shù)據(jù)手套或者其他傳感器。本文先后利用微軟的Kinect V1和V2攝像頭及其SDK，擺脫了數(shù)據(jù)手套和其他傳感器的束縛，實(shí)現(xiàn)更加自然的人機(jī)交互?；谑终Z表達(dá)的運(yùn)動特點(diǎn)，我們選取了手、大拇指、手腕和手肘人體骨骼點(diǎn)的空間運(yùn)動信息作為手語的原始數(shù)據(jù)

4、。
　　第三，研究手語特征提取和分類識別。特征選取對手語識別的精度至關(guān)重要，也是模式識別中的重要組成部分。基于Kinect提供的深度圖像和人體骨骼點(diǎn)數(shù)據(jù)，分別提取了右手單手和雙手的手部3D運(yùn)動軌跡和手形兩個(gè)方面的特征表示，并將單一特征和融合特征作為后續(xù)分類器的輸入。分類識別方面，比較了SVM和ELM兩種算法，最終選擇更高效的ELM方法作為分類器。為了驗(yàn)證本文特征選擇和分類器的有效性，建立并發(fā)布了包含20類手語詞的數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表