基于N-gram模型和句法模型的連續(xù)中國手語識別方法研究.pdf

1、近年來，智能人機(jī)交互在人們的日常生活中占據(jù)了越來越重要的地位。隨著人機(jī)交互的不斷發(fā)展，要求人們使用更加直觀快捷的交流方式。手語作為一種特殊的語言，不僅可以幫助聾啞人與其他人進(jìn)行正常的交流，而且手語手勢也可以作為一種新的交流方法應(yīng)用在人機(jī)交互中。手語包含了手的形狀、位置、運(yùn)動、朝向和面部表情等豐富的信息，進(jìn)行手語識別研究可以促進(jìn)計(jì)算語言學(xué)、空間幾何學(xué)、模式識別學(xué)、計(jì)算機(jī)視覺、圖像圖形學(xué)、機(jī)器人學(xué)等多個(gè)學(xué)科的發(fā)展。因此，手語手勢識別對提高計(jì)

2、算機(jī)的人類語言理解水平和發(fā)展人機(jī)交互技術(shù)具有重要意義。
　　 表面肌電(Surface Electromyography，SEMG)傳感器和加速計(jì)(Accelerometer，ACC)由于其結(jié)構(gòu)簡單、成本較低、便于攜帶的特點(diǎn)，成為了目前手勢識別研究中兩種常用的傳感器設(shè)備。SEMG和ACC信息分別從不同的角度對手語動作的特征進(jìn)行描述。SEMG反映了手的形態(tài)、關(guān)節(jié)的伸屈、手部肌肉的收縮放松等信息，在精細(xì)手指動作識別上有著獨(dú)特優(yōu)勢，但

3、它本身是一種微弱的電生理信號，對傳感器安放位置比較敏感，其信號采集時(shí)受外界影響較大。加速計(jì)可以對手勢的大尺度運(yùn)動信息進(jìn)行檢測，但其無法精確檢測出靜態(tài)手勢和小幅度運(yùn)動手勢。
　　 本文一方面結(jié)合表面肌電（surface electromyography，SEMG）傳感器和加速計(jì)（accelerometer，ACC）在手勢信息檢測上的不同優(yōu)勢，提出了基于兩種傳感器信息融合的手語手勢識別方法。另一方面針對SEMG等信號受個(gè)體動作差異影

4、響較大的問題，將統(tǒng)計(jì)語言模型和句法模型引入到手語識別中，利用語言學(xué)的知識對手語識別結(jié)果進(jìn)行檢測，提高多類手語手勢動作的識別率,擴(kuò)展可識別詞匯量。
　　 本文主要研究內(nèi)容和研究成果如下：
　　 (1)將手語詞拆分成詞根的組合形式，以“詞根”作為手語識別基本單元。用詞根代替整個(gè)手語詞進(jìn)行多流隱馬爾科夫（Hidden Markov Model，HMM）建模識別，并使用多級決策樹方法降低識別復(fù)雜度，有效縮短了訓(xùn)練和識別所消耗的時(shí)

5、間，提高了識別率。
　　 (2)針對中國手語識別中出現(xiàn)的錯誤，將統(tǒng)計(jì)語言模型引入了識別過程，提出了基于N-gram模型的中國手語詞根識別糾錯方法。該方法首先通過對常見的手語語料庫進(jìn)行統(tǒng)計(jì)，得到相應(yīng)的詞根接續(xù)概率，然后利用互信息，轉(zhuǎn)移概率等對相鄰的詞根組進(jìn)行判定，從中檢查出識別錯誤的詞根。這種方法的優(yōu)點(diǎn)在于用來進(jìn)行詞根接續(xù)判斷的互信息等參數(shù)來源于語料庫的概率信息，不會受到信號本身差異性的影響。使用此方法，得到的手語詞根識別率達(dá)到9