基于表面肌電和加速度信號融合的動作識別和人體行為分析研究.pdf

1、以人為中心的智能化人機交互一方面要求計算機具有自動檢測、分析和理解人類更多的姿勢、行為動作、生理心理狀態(tài)、語言、情感和觸覺等自然能力;另一方面要求其應(yīng)用和服務(wù)具備感知周圍情境信息的能力，并且能夠根據(jù)感知情境的變化提供相應(yīng)的服務(wù)?；谌梭w行為動作識別技術(shù)的非鍵盤輸入方式既適用于微型化可移動設(shè)備使用環(huán)境和雙手無法空閑的交互場合，又適用于聾啞人與正常人交流的手語識別系統(tǒng)和其他新穎的人機交互技術(shù)研究平臺。同時，作為情境感知中的重要因素之一，行為

2、感知在移動健康監(jiān)護具有重要研究意義，對空巢獨居老年人或慢性疾病患者提供日常行為監(jiān)測服務(wù)，發(fā)現(xiàn)異常情況及時報警并采取救援行動，這對保障老年人和患者的生活很有裨益。
　　 本文以精細手指按鍵動作、手語手勢動作以及下肢步態(tài)動作為研究對象，對基于表面肌電（Surface electromyogranphy，SEMG）信號或/和加速度(Acceleration，ACC)信號的多類行為動作的感知與識別進行了深入研究，并開展了一定規(guī)模的用戶測

3、試實驗。其中，基于按鍵動作識別和虛擬鍵盤模擬手機交互平臺的實現(xiàn)可促進智能化人機交互接口技術(shù)的發(fā)展和應(yīng)用推廣;融合SEMG和ACC信號的下肢動態(tài)步態(tài)動作的識別研究一方面提高了步態(tài)行為動作識別的準確性，另一方面將人體行為動作SEMG識別技術(shù)推廣到智能化的情境感知應(yīng)用領(lǐng)域，對指導(dǎo)人類行為理解、康復(fù)醫(yī)學(xué)工程等領(lǐng)域的研究具有重要意義;而中國普樂手語手勢動作的識別研究實現(xiàn)了較小訓(xùn)練負擔(dān)下中國漢字較高識別結(jié)果，為聾人與健聽人的交流提供了強有力的橋梁，

4、其研究成果將直接造福于聾人群體。本文主要的研究工作和創(chuàng)新點包括:
　　 1.基于SEMG信號手指按鍵動作識別和虛擬鍵盤交互實現(xiàn)。此研究旨在探索實現(xiàn)隨時隨地“無形”鍵盤輸入方式的可行性。主要研究工作如下:1）以右手16類手指按鍵動作和4類控制動作為研究對象，對包含信號采集、活動段分割、特征提取和分類識別在內(nèi)的手勢動作SEMG信號識別方法進行了研究，提出了一種適用于實時交互平臺的算法;2）結(jié)合神經(jīng)肌肉控制生理學(xué)知識確定了多通道SEM

5、G電極安放位置;3）構(gòu)建了基于手勢動作識別的虛擬鍵盤進行模擬手機交互，并開展用戶調(diào)查實驗?；诙囝愂謩輨幼髯R別的虛擬鍵盤交互技術(shù)，其手勢動作的平均識別率可達94％，且用戶經(jīng)過適當?shù)膭幼饔?xùn)練后可實現(xiàn)任意平面手勢動作SEMG無形虛擬鍵盤的“隨身攜帶”。同時，用戶調(diào)查實驗結(jié)果顯示了該交互方式具有一定的新穎性，是一種用戶可完全接受的人機交互方式。
　　 2.融合SEMG和ACC信號的人體日常行為動作感知和跌倒檢測研究。此研究的目標是通過

6、對用戶日常行為動作感知與識別，實現(xiàn)獨居老年人或者慢性疾病患者的健康監(jiān)護，保障其生活質(zhì)量。主要研究工作包括:1）從健康監(jiān)護平臺的實時性和低計算復(fù)雜度要求出發(fā)，引入身體姿態(tài)的概念，將日常行為動作分解為靜態(tài)行為動作、各靜態(tài)行為動作轉(zhuǎn)換形成的動態(tài)轉(zhuǎn)移動作，以及一類特殊的由“站”到“站”產(chǎn)生的步態(tài)行為動作。2）提出直方圖負熵的概念，利用熵表征時間序列不確定度和復(fù)雜度的能力，實現(xiàn)了基于ACC信號直方圖熵的靜態(tài)動作和動態(tài)動作活動段分割。對于靜態(tài)動作活

7、動段信號，采用多級夾角閾值決策算法實現(xiàn)了不同身體姿態(tài)的識別，對于動態(tài)行為動作，結(jié)合動態(tài)動作活動段的前后身體姿態(tài)變化信息將其成功識別為動態(tài)轉(zhuǎn)移動作和步態(tài)行為動作。3）采用SEMG和ACC信號融合的雙流HMMs進行了特定步態(tài)行為動作模式識別，同時結(jié)合身體姿態(tài)變化信息和合加速度幅值閾值信息實現(xiàn)了正常轉(zhuǎn)移動作和跌倒動作的判斷。4）設(shè)計連續(xù)日常行為動作和跌倒動作數(shù)據(jù)采集實驗，驗證了該方法進行日常行為感知和跌倒檢測的有效性。在行為感知和識別中引入身

8、體姿態(tài)信息，有效節(jié)約了分類識別系統(tǒng)的計算資源開銷;前后身體姿態(tài)變化信息和活動段內(nèi)合加速度幅值閾值相結(jié)合的方法提高了跌倒檢測的準確性，為未來獨居老年人和慢性疾病患者的健康監(jiān)護提供保障方案奠定了研究基礎(chǔ);融合SEMG和ACC信號進行步態(tài)行為動作分類識別研究，一方面提高了步態(tài)行為動作的識別率，另一方面將下肢行為動作SEMG引入情境感知領(lǐng)域的行為感知應(yīng)用中，開啟了情境感知領(lǐng)域中行為感知的應(yīng)用思路。
　　 3.融合SEMG和ACC信號的詞

9、匯量可擴展的連續(xù)中國普樂手語識別研究。此研究旨在采用較小負擔(dān)的用戶訓(xùn)練樣本，實現(xiàn)詞匯量可擴展的中國普樂手語識別方法。這部分的研究工作主要包括:1）采用要素概念，充分利用SEMG在檢測精細手形動作方面的優(yōu)勢和ACC在檢測大尺度的運動軌跡方面的優(yōu)點，創(chuàng)新性地提出了融合SEMG和ACC信號中國普樂手語手勢動作執(zhí)行方案。該方案涉及的手形和運動軌跡要素其規(guī)模較小且數(shù)目恒定，并不會隨著中國漢字詞匯量的擴展而發(fā)生變化，從而保障了較小的用戶訓(xùn)練負擔(dān)。2

10、）針對連續(xù)手勢動作相對于孤立手勢動作活動段分割中存在的兩種信噪比低的情況，提出模糊熵算法，實現(xiàn)了連續(xù)手勢動作活動段的有效分割。3）分別采用各要素分類器并加入決策融合機制，對由223個中國漢字構(gòu)成的504個日常情境句子進行分類識別。實驗結(jié)果表明，提出的模糊熵算法可以有效解決連續(xù)手勢動作活動段分割問題，確定要素分類器的先后順序可以進一步降低用戶訓(xùn)練負擔(dān)，其決策融合機制在一定程度上減少了中國漢字識別的傳遞誤差。該手語識別方法實現(xiàn)了較小訓(xùn)練負擔(dān)