基于EEG-NIRS雙模態(tài)動作意圖的分類識別.pdf

1、理解動作意圖指的是在觀察他人動作時，人自發(fā)地領(lǐng)會動作所包含的意圖的一類行為，此類行為對語言、心智以及社會化的發(fā)展均具備重要的意義。如今針對領(lǐng)會動作意圖的大部分研究采用單模態(tài)的腦成像技術(shù)，在測量的效果與時空分辨率上均存在一定的不足。而本研究采用腦電圖（electroencephalography, EEG）和近紅外光譜(near-infraredspectroscopy, NIRS)結(jié)合的雙模態(tài)腦成像技術(shù)，能夠同步測量大腦活動的電位信號與

2、血氧變化信號，達(dá)到領(lǐng)會動作意圖神經(jīng)機(jī)制的多信息、多層面的研究。本研究選取了兩類手與杯子進(jìn)行接觸的圖片分別表示手拿杯子喝水和移動杯子的動作意圖，取得了以下研究成果:
　　(1)本文主要研究了EEG信號的頻域特征、時頻特征以及共同空間模式(commonspatial pattern，CSP)的分類識別率，并做了比較與分析，研究發(fā)現(xiàn)提取的CSP特征能夠獲得較好的分類正確率;從方差、幅值平均絕對值以及峰值三個方面，對動作意圖血氧信號做了分

3、析，發(fā)現(xiàn)兩種動作意圖的血氧變化不一致;幅值平均絕對值特征能較好地區(qū)分兩種動作意圖。通過對EEG和NIRS的特征研究發(fā)現(xiàn)在左側(cè)腦區(qū)移動杯子意圖的激活強(qiáng)于拿杯子喝水意圖，而在右側(cè)腦區(qū)喝水意圖的激活更強(qiáng)，說明了動作意圖的理解存在偏側(cè)化。
　　(2)為了充分地利用雙模態(tài)信號，本文構(gòu)建的BCI系統(tǒng)輸出決策之前做了數(shù)據(jù)融合處理。本文的兩類信號來自于兩種不同類型的傳感器，因此本文以研究基于線性判別分析(linear discriminant a

4、nalysis，LDA)的特征層融合為主。首先利用LDA分別對提取到的EEG信號以及NIRS信號的特征做模式分類，獲得單模態(tài)的分類準(zhǔn)確率;然后利用基于LDA的特征層融合，把兩種類型的單模態(tài)特征信息聯(lián)合起來再做模式分類，獲得融合之后的識別正確率?；贚DA的雙模態(tài)特征層融合BCI系統(tǒng)分類正確率均值達(dá)74.4％，均比任意單模態(tài)分類正確率高。且因?yàn)椴捎脭?shù)據(jù)融合技術(shù)，致使對某類腦信號采集技術(shù)反應(yīng)不明顯的被試者，可以在另一種技術(shù)上獲得補(bǔ)充，于是雙

5、模態(tài)獲得的平均分類正確率比EEG單模態(tài)提高4.2％，比NIRS單模態(tài)提高19.8％。并且基于LDA的特征層融合將融合和決策同時進(jìn)行節(jié)約了系統(tǒng)信號處理的時間，提高了響應(yīng)速度。
　　(3)本文還提出基于誤差反向傳播算法（error back propagation algorithm，BP）的決策層融合方法:首先利用BP分別對EEG信號以及NIRS信號提取的特征做模式分類，然后把兩類信號的輸出結(jié)果串聯(lián)作為BP的輸入變量，即可實(shí)現(xiàn)決策層

6、融合。BP決策層融合的識別正確率比單模態(tài)的亦有提高，但不及LDA的特征層融合的?？赡芤?yàn)樘卣鲗尤诤峡梢匀菁{較多的信息，提高了系統(tǒng)的可信度，而決策層融合包含的信息或許不及特征層融合豐富。LDA有嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)理論，其參數(shù)能夠在訓(xùn)練中獲取;而BP則更依賴于數(shù)據(jù)集的先驗(yàn)知識，以采用適合的參數(shù)。BP是依據(jù)經(jīng)驗(yàn)風(fēng)險最小化原則，易于收斂得局部最優(yōu)解。采用雙模態(tài)數(shù)據(jù)融合構(gòu)建BCI系統(tǒng)，使得系統(tǒng)的時間覆蓋能力和空間覆蓋能力得以提高，信息模糊度得以降低，以致