基于表面肌電和加速度信號(hào)融合的動(dòng)作識(shí)別和人體行為分析研究.pdf

1、以人為中心的智能化人機(jī)交互一方面要求計(jì)算機(jī)具有自動(dòng)檢測(cè)、分析和理解人類更多的姿勢(shì)、行為動(dòng)作、生理心理狀態(tài)、語(yǔ)言、情感和觸覺等自然能力;另一方面要求其應(yīng)用和服務(wù)具備感知周圍情境信息的能力，并且能夠根據(jù)感知情境的變化提供相應(yīng)的服務(wù)。基于人體行為動(dòng)作識(shí)別技術(shù)的非鍵盤輸入方式既適用于微型化可移動(dòng)設(shè)備使用環(huán)境和雙手無(wú)法空閑的交互場(chǎng)合，又適用于聾啞人與正常人交流的手語(yǔ)識(shí)別系統(tǒng)和其他新穎的人機(jī)交互技術(shù)研究平臺(tái)。同時(shí)，作為情境感知中的重要因素之一，行為

2、感知在移動(dòng)健康監(jiān)護(hù)具有重要研究意義，對(duì)空巢獨(dú)居老年人或慢性疾病患者提供日常行為監(jiān)測(cè)服務(wù)，發(fā)現(xiàn)異常情況及時(shí)報(bào)警并采取救援行動(dòng)，這對(duì)保障老年人和患者的生活很有裨益。
　　 本文以精細(xì)手指按鍵動(dòng)作、手語(yǔ)手勢(shì)動(dòng)作以及下肢步態(tài)動(dòng)作為研究對(duì)象，對(duì)基于表面肌電（Surface electromyogranphy，SEMG）信號(hào)或/和加速度(Acceleration，ACC)信號(hào)的多類行為動(dòng)作的感知與識(shí)別進(jìn)行了深入研究，并開展了一定規(guī)模的用戶測(cè)

3、試實(shí)驗(yàn)。其中，基于按鍵動(dòng)作識(shí)別和虛擬鍵盤模擬手機(jī)交互平臺(tái)的實(shí)現(xiàn)可促進(jìn)智能化人機(jī)交互接口技術(shù)的發(fā)展和應(yīng)用推廣;融合SEMG和ACC信號(hào)的下肢動(dòng)態(tài)步態(tài)動(dòng)作的識(shí)別研究一方面提高了步態(tài)行為動(dòng)作識(shí)別的準(zhǔn)確性，另一方面將人體行為動(dòng)作SEMG識(shí)別技術(shù)推廣到智能化的情境感知應(yīng)用領(lǐng)域，對(duì)指導(dǎo)人類行為理解、康復(fù)醫(yī)學(xué)工程等領(lǐng)域的研究具有重要意義;而中國(guó)普樂手語(yǔ)手勢(shì)動(dòng)作的識(shí)別研究實(shí)現(xiàn)了較小訓(xùn)練負(fù)擔(dān)下中國(guó)漢字較高識(shí)別結(jié)果，為聾人與健聽人的交流提供了強(qiáng)有力的橋梁，

4、其研究成果將直接造福于聾人群體。本文主要的研究工作和創(chuàng)新點(diǎn)包括:
　　 1.基于SEMG信號(hào)手指按鍵動(dòng)作識(shí)別和虛擬鍵盤交互實(shí)現(xiàn)。此研究旨在探索實(shí)現(xiàn)隨時(shí)隨地“無(wú)形”鍵盤輸入方式的可行性。主要研究工作如下:1）以右手16類手指按鍵動(dòng)作和4類控制動(dòng)作為研究對(duì)象，對(duì)包含信號(hào)采集、活動(dòng)段分割、特征提取和分類識(shí)別在內(nèi)的手勢(shì)動(dòng)作SEMG信號(hào)識(shí)別方法進(jìn)行了研究，提出了一種適用于實(shí)時(shí)交互平臺(tái)的算法;2）結(jié)合神經(jīng)肌肉控制生理學(xué)知識(shí)確定了多通道SEM

5、G電極安放位置;3）構(gòu)建了基于手勢(shì)動(dòng)作識(shí)別的虛擬鍵盤進(jìn)行模擬手機(jī)交互，并開展用戶調(diào)查實(shí)驗(yàn)?；诙囝愂謩?shì)動(dòng)作識(shí)別的虛擬鍵盤交互技術(shù)，其手勢(shì)動(dòng)作的平均識(shí)別率可達(dá)94％，且用戶經(jīng)過(guò)適當(dāng)?shù)膭?dòng)作訓(xùn)練后可實(shí)現(xiàn)任意平面手勢(shì)動(dòng)作SEMG無(wú)形虛擬鍵盤的“隨身攜帶”。同時(shí)，用戶調(diào)查實(shí)驗(yàn)結(jié)果顯示了該交互方式具有一定的新穎性，是一種用戶可完全接受的人機(jī)交互方式。
　　 2.融合SEMG和ACC信號(hào)的人體日常行為動(dòng)作感知和跌倒檢測(cè)研究。此研究的目標(biāo)是通過(guò)

6、對(duì)用戶日常行為動(dòng)作感知與識(shí)別，實(shí)現(xiàn)獨(dú)居老年人或者慢性疾病患者的健康監(jiān)護(hù)，保障其生活質(zhì)量。主要研究工作包括:1）從健康監(jiān)護(hù)平臺(tái)的實(shí)時(shí)性和低計(jì)算復(fù)雜度要求出發(fā)，引入身體姿態(tài)的概念，將日常行為動(dòng)作分解為靜態(tài)行為動(dòng)作、各靜態(tài)行為動(dòng)作轉(zhuǎn)換形成的動(dòng)態(tài)轉(zhuǎn)移動(dòng)作，以及一類特殊的由“站”到“站”產(chǎn)生的步態(tài)行為動(dòng)作。2）提出直方圖負(fù)熵的概念，利用熵表征時(shí)間序列不確定度和復(fù)雜度的能力，實(shí)現(xiàn)了基于ACC信號(hào)直方圖熵的靜態(tài)動(dòng)作和動(dòng)態(tài)動(dòng)作活動(dòng)段分割。對(duì)于靜態(tài)動(dòng)作活

7、動(dòng)段信號(hào)，采用多級(jí)夾角閾值決策算法實(shí)現(xiàn)了不同身體姿態(tài)的識(shí)別，對(duì)于動(dòng)態(tài)行為動(dòng)作，結(jié)合動(dòng)態(tài)動(dòng)作活動(dòng)段的前后身體姿態(tài)變化信息將其成功識(shí)別為動(dòng)態(tài)轉(zhuǎn)移動(dòng)作和步態(tài)行為動(dòng)作。3）采用SEMG和ACC信號(hào)融合的雙流HMMs進(jìn)行了特定步態(tài)行為動(dòng)作模式識(shí)別，同時(shí)結(jié)合身體姿態(tài)變化信息和合加速度幅值閾值信息實(shí)現(xiàn)了正常轉(zhuǎn)移動(dòng)作和跌倒動(dòng)作的判斷。4）設(shè)計(jì)連續(xù)日常行為動(dòng)作和跌倒動(dòng)作數(shù)據(jù)采集實(shí)驗(yàn)，驗(yàn)證了該方法進(jìn)行日常行為感知和跌倒檢測(cè)的有效性。在行為感知和識(shí)別中引入身

8、體姿態(tài)信息，有效節(jié)約了分類識(shí)別系統(tǒng)的計(jì)算資源開銷;前后身體姿態(tài)變化信息和活動(dòng)段內(nèi)合加速度幅值閾值相結(jié)合的方法提高了跌倒檢測(cè)的準(zhǔn)確性，為未來(lái)獨(dú)居老年人和慢性疾病患者的健康監(jiān)護(hù)提供保障方案奠定了研究基礎(chǔ);融合SEMG和ACC信號(hào)進(jìn)行步態(tài)行為動(dòng)作分類識(shí)別研究，一方面提高了步態(tài)行為動(dòng)作的識(shí)別率，另一方面將下肢行為動(dòng)作SEMG引入情境感知領(lǐng)域的行為感知應(yīng)用中，開啟了情境感知領(lǐng)域中行為感知的應(yīng)用思路。
　　 3.融合SEMG和ACC信號(hào)的詞

9、匯量可擴(kuò)展的連續(xù)中國(guó)普樂手語(yǔ)識(shí)別研究。此研究旨在采用較小負(fù)擔(dān)的用戶訓(xùn)練樣本，實(shí)現(xiàn)詞匯量可擴(kuò)展的中國(guó)普樂手語(yǔ)識(shí)別方法。這部分的研究工作主要包括:1）采用要素概念，充分利用SEMG在檢測(cè)精細(xì)手形動(dòng)作方面的優(yōu)勢(shì)和ACC在檢測(cè)大尺度的運(yùn)動(dòng)軌跡方面的優(yōu)點(diǎn)，創(chuàng)新性地提出了融合SEMG和ACC信號(hào)中國(guó)普樂手語(yǔ)手勢(shì)動(dòng)作執(zhí)行方案。該方案涉及的手形和運(yùn)動(dòng)軌跡要素其規(guī)模較小且數(shù)目恒定，并不會(huì)隨著中國(guó)漢字詞匯量的擴(kuò)展而發(fā)生變化，從而保障了較小的用戶訓(xùn)練負(fù)擔(dān)。2

10、）針對(duì)連續(xù)手勢(shì)動(dòng)作相對(duì)于孤立手勢(shì)動(dòng)作活動(dòng)段分割中存在的兩種信噪比低的情況，提出模糊熵算法，實(shí)現(xiàn)了連續(xù)手勢(shì)動(dòng)作活動(dòng)段的有效分割。3）分別采用各要素分類器并加入決策融合機(jī)制，對(duì)由223個(gè)中國(guó)漢字構(gòu)成的504個(gè)日常情境句子進(jìn)行分類識(shí)別。實(shí)驗(yàn)結(jié)果表明，提出的模糊熵算法可以有效解決連續(xù)手勢(shì)動(dòng)作活動(dòng)段分割問(wèn)題，確定要素分類器的先后順序可以進(jìn)一步降低用戶訓(xùn)練負(fù)擔(dān)，其決策融合機(jī)制在一定程度上減少了中國(guó)漢字識(shí)別的傳遞誤差。該手語(yǔ)識(shí)別方法實(shí)現(xiàn)了較小訓(xùn)練負(fù)擔(dān)