基于要素的詞匯量可擴展的手語手勢動作識別方法研究.pdf

1、手語手勢識別旨在將手勢動作翻譯成文本或者語音形式，以增進聾啞人群體和正常人之間的交流。同時，手勢識別技術(shù)在人機交互系統(tǒng)的應(yīng)用中也扮演了不可或缺的角色。從實用角度出發(fā)，針對聾啞人交流需求設(shè)計的手語翻譯裝置應(yīng)滿足便攜性、一定規(guī)模的可識別詞匯量、較高的識別效率、低成本等基本要求?；诒砻婕‰?、加速計和陀螺儀等運動傳感器的手勢識別技術(shù)具有實現(xiàn)實用型手語翻譯系統(tǒng)的潛力。
　　盡管基于表面肌電和運動傳感器的手勢識別探索已取得了一定的進展，這種

2、技術(shù)距離實際應(yīng)用仍有較大距離:一方面，當(dāng)前基于該技術(shù)的手語手勢識別研究涉及的手語詞數(shù)量有限，僅為幾十種，不能滿足日常交流的需求。另一方面，當(dāng)前的手勢識別算法大多在用戶有關(guān)條件下實現(xiàn)，大詞匯量識別下的用戶訓(xùn)練負擔(dān)會限制該技術(shù)的實用性。針對基于表面肌電和運動傳感器的手語手勢識別面臨的問題，本文前提出了一種融合表面肌電和加速計、陀螺儀傳感器信息的詞匯量可擴展手勢識別方法，該方法采用手勢動作可拆分為多種基本要素的思想，通過較小規(guī)模的手勢要素識別

3、實現(xiàn)較大詞匯量的手勢詞識別。研究結(jié)果顯示，本文提出的方案可大大降低大詞匯量識別下的用戶訓(xùn)練負擔(dān)，從而可推動實用型手語翻譯技術(shù)的發(fā)展。本文主要工作可概括如下:
　　(1)從手型、朝向、軸向、轉(zhuǎn)向和軌跡五種可有效描述手語手勢動作執(zhí)行特點的手勢要素出發(fā)，綜合分析手勢動作執(zhí)行過程中各要素的變化，提出了一種分段考察手勢要素的手勢編碼方案。
　　(2)在基于要素的手勢編碼基礎(chǔ)上，提出了一種詞匯量可擴展的手勢識別方案。該方案首先由參考受試

4、者數(shù)據(jù)確定手勢要素的子類，對目標(biāo)手勢集各手勢進行要素編碼，構(gòu)建目標(biāo)手勢集編碼表。然后，基于表面肌電、加速計和陀螺儀信號特點，對手勢要素進行特征提取和分類器設(shè)計，并通過手勢要素的識別和編碼匹配實現(xiàn)較少訓(xùn)練負擔(dān)下的較大詞匯量手勢識別。
　　(3)以110個常見中國手語詞為目標(biāo)手勢集，在五個受試者（其中Sub3和Sub5分別為參考受試者）數(shù)據(jù)上驗證了本文提出的詞匯量可擴展的手勢識別方案的可行性。實驗結(jié)果顯示，當(dāng)訓(xùn)練集規(guī)模為目標(biāo)手勢集1/