基于視覺的連續(xù)手語識別系統(tǒng)的研究.pdf

1、手語是由手形、手臂運(yùn)動并輔之以表情、唇動以及其它體勢來表達(dá)思想的人體語言，具有規(guī)范的語法、明確的語義和完備的詞匯體系。手語所含信息量豐富，與口頭語及書面語等具有同等的表達(dá)能力，常用于聾人之間的信息交流和交際，也可用于聾校進(jìn)行教學(xué)活動。
　　一般常人不懂手語，與聾人存在語言交流障礙。手語識別系統(tǒng)正是基于這一問題提出來的。本文要開發(fā)的系統(tǒng)是一個(gè)基于視覺的手語識別，它通過采集手語動作的圖像或者視頻信息，提取取手語的特征，利用模式識別技術(shù)

2、識別出手語所表達(dá)的語意。本文的研究工作包括以下幾個(gè)方面:
　　1.分析手語的基本要素中國手語作為手語的一個(gè)重要分支分為兩類:手指語和手勢語。手指語是用指式軌跡描述一個(gè)漢語拼音字母，并按照漢語拼音規(guī)則構(gòu)成的語言。手勢語是以模擬事物的形狀、動作為主要手段，并輔以姿態(tài)和表情來表達(dá)的。手勢語是聾人日常生活中使用的語言的主要部分。目前在中國手語教科書中每個(gè)手勢對應(yīng)一個(gè)漢語詞。在我國聾人交往主要使用手勢語，適當(dāng)?shù)嘏浜鲜种刚Z。
　　2.手

3、勢分割本文中采用對人手圖像提取HOG特征，即局部圖像梯度的方向信息的統(tǒng)計(jì)分離出手的部分，HOG以其較好的魯棒性以及對于光亮的不敏感性能夠顯著提高檢測效果。從而為后面的特征的提取以及識別打下基礎(chǔ)。
　　3.靜態(tài)手勢特征提取及識別，靜態(tài)手勢主要是面對手指語，在本文中我們主要處理的靜態(tài)關(guān)鍵手勢為語句起始手勢和語句結(jié)束手勢，采集靜態(tài)手語的HOG特征值，同時(shí)訓(xùn)練SVM識別器識別單一的靜態(tài)手語。
　　4.動態(tài)手勢跟蹤在手語的進(jìn)行過程中，

4、手作為非剛性物體在手語實(shí)現(xiàn)過程中會無規(guī)律的發(fā)生形變，所以常規(guī)的跟蹤算法在跟蹤記錄手的運(yùn)動軌跡中將極容易丟失跟蹤目標(biāo)，而又難以重新找回，本文采用TLD跟蹤算法跟蹤手勢動作。TLD以其在線學(xué)習(xí)和檢測跟蹤同步機(jī)制保證了對于發(fā)生形變的手的動作的跟蹤的穩(wěn)定性，能實(shí)時(shí)的跟蹤繪制手的運(yùn)動軌跡。
　　5.手語分類判別對于靜態(tài)手勢部分，由分割用到的HOG邊緣特征數(shù)據(jù)作為后面識別原數(shù)據(jù)。對于動態(tài)手勢，我們將采用TLD跟蹤算法跟蹤繪制其運(yùn)動軌跡，結(jié)合開