基于生理信號的情感識別方法研究.pdf

1、心理生理學(xué)和智能人機交互領(lǐng)域?qū)η楦械纳砜煞中匝芯恐饕捎梅讲罘治龊突谀Ｊ椒诸惖姆椒?。這些方法通常直接從生理信號的統(tǒng)計特征中尋找情感特異性生理反應(yīng)模式，而忽略了證明生理信號中是否存在情感生理反應(yīng)。本文基于國家重點學(xué)科基礎(chǔ)心理學(xué)基金項目(No.NKSF07003)和國家自然科學(xué)基金項目(No.60873143)的工作，以發(fā)現(xiàn)情感生理信號重要特征及其組合，并建立情感的生理信息計算模型為研究目的，首次應(yīng)用隨機矩陣?yán)碚搶η楦猩硇盘栠M(jìn)行信號序

2、列相關(guān)性分析，以揭示信號序列中確實存在的情感生理反應(yīng)和特定的情感生理反應(yīng)時間模式。按信號種類構(gòu)造信號序列相關(guān)矩陣，分析相關(guān)矩陣特征值的最近鄰間距分布和特征值譜剛度，檢驗相關(guān)矩陣的特征值和特征向量的分布，以探討情感生理信號是否表現(xiàn)出相關(guān)的情感生理反應(yīng)模式，從而找出包含可靠情感生理反應(yīng)的信號，避免非情感特異性生理反應(yīng)模式對研究結(jié)論的干擾。以隨機矩陣?yán)碚摰那楦猩矸磻?yīng)模式分析結(jié)果為依據(jù)，提出了高興、驚奇、厭惡、悲傷、憤怒和恐懼6種基本情感基于

3、特征解空間搜索和Fisher映射分類的二分類情感識別模型。將特征選擇問題抽取為一個組合優(yōu)化模型，使用優(yōu)化問題中常用的遺傳算法、蟻群算法、粒子群算法、后向選擇算法和前向漂移選擇算法進(jìn)行特征選擇，比較了上述算法在預(yù)測識別能力、避免過擬合能力、計算代價和特征維度壓縮能力等方面各自的優(yōu)缺點，找出了最適合于基于生理信號的情感識別特征選擇問題的解空間搜索算法，并獲得了每一種基本情感區(qū)別于其它情感的關(guān)鍵生理信號特征組合。通過上述研究工作得到了如下結(jié)果

4、：
　　 (1)通過恰當(dāng)?shù)那楦猩硇盘柌杉桨冈O(shè)計，獲得了300名大學(xué)生的情感生理反應(yīng)樣本，建立了規(guī)模較大的情感生理反應(yīng)樣本庫，其中包含了皮膚電導(dǎo)、心率、心電、呼吸、脈搏、肌電和額葉的兩路腦電共8路生理信號，喚起了高興、驚奇、厭惡、悲傷、憤怒和恐懼6種基本情感。與已有研究相比，該情感生理反應(yīng)樣本庫的被試數(shù)量大，有利于發(fā)現(xiàn)用戶非依賴的情感生理反應(yīng)模式，并且生理信號種類較多，有利于從多種信號中綜合提取情感特異性生理特征，以及發(fā)現(xiàn)對情

5、感識別而言可靠的生理信號特征提取源。
　　 (2)通過隨機矩陣?yán)碚摲治霭l(fā)現(xiàn)，信號序列相關(guān)矩陣的特征值最近鄰間距分布和特征值譜剛度具有高斯正交系綜的一般特性，遵從隨機矩陣?yán)碚摰念A(yù)測；信號序列相關(guān)矩陣的特征值大部分落入隨機矩陣?yán)碚摰念A(yù)測范圍之內(nèi)，對應(yīng)的特征向量的分布也服從隨機矩陣?yán)碚擃A(yù)測的Porter-Thomas分布。然而在考察信號的緩變規(guī)律時，皮膚電導(dǎo)、心率、心電和呼吸信號序列相關(guān)矩陣的最大特征值遠(yuǎn)遠(yuǎn)超過隨機矩陣?yán)碚擃A(yù)測的最大特

6、征值，其對應(yīng)的特征向量也背離了隨機矩陣?yán)碚摰念A(yù)測分布，顯示出信號序列之間由共同的情感喚起素材所激發(fā)的相關(guān)情感生理反應(yīng)模式；在考慮信號的瞬變規(guī)律時，皮膚電導(dǎo)和心率仍然保持上述背離特性，表明情感生理信號采集所測試的8種生理信號中，只有皮膚電導(dǎo)和心率的瞬變和緩變規(guī)律中均包含了可靠的情感生理反應(yīng)模式，可作為情感生理特征提取的可靠信號源。對信號的緩變和瞬變規(guī)律進(jìn)行基于隨機矩陣?yán)碚摰臄?shù)據(jù)分析，同時也揭示了情感生理反應(yīng)與時間的關(guān)系。分析結(jié)果表明8路信

7、號中只有皮膚電導(dǎo)和心率的變化可以快速響應(yīng)情感心理體驗的變化，并且心率的變化具有較強的情感時間累積效應(yīng)；情感對心電和呼吸變化的影響則需要一段累積時間，而不會從信號波形變化中快速響應(yīng)情感心理體驗的變化；而脈搏、肌電和額葉的兩路腦電中沒有體現(xiàn)出可靠的情感生理反應(yīng)?；陔S機矩陣?yán)碚摰姆治龇椒ú粌H發(fā)現(xiàn)了包含可靠情感生理反應(yīng)模式的生理信號，排除了未產(chǎn)生可靠情感生理反應(yīng)的生理信號，同時也揭示了使用方差分析和模式分類方法所不能獲得的情感生理反應(yīng)時間模式

8、。
　　 (3)在皮膚電導(dǎo)和心率兩種生理信號中綜合提取信號特征，從組合優(yōu)化的角度進(jìn)行特征選擇，對各種解空間搜索算法的比較發(fā)現(xiàn)，后向選擇算法在模型預(yù)測識別能力、計算代價、避免數(shù)據(jù)過擬合能力和特征降維能力等各方面的綜合性能上是幾種特征選擇算法中最好的。算法比較結(jié)果揭示了基于生理信號的情感識別系統(tǒng)構(gòu)建中，要獲得具有良好泛化能力和預(yù)測識別能力的情感識別系統(tǒng)，特征選擇過程對解空間的搜索應(yīng)該是粗粒度的，這和旅行商(TSP)問題等一般優(yōu)化問題

9、有顯著區(qū)別。
　　 (4)基于皮膚電導(dǎo)和心率生理信號特征、后向特征選擇算法和Fisher映射分類器的6個二分類情感識別系統(tǒng)都具有比虛報率高出超過20％的擊中率，并且6種目標(biāo)情感各自對應(yīng)的最優(yōu)特征子集包含不超過10個特征，與初始的110個特征相比，特征維數(shù)顯著壓縮，各基本情感區(qū)別于其它情感的關(guān)鍵特征得以體現(xiàn)。
　　 上述的研究結(jié)論通過引入基于隨機矩陣?yán)碚摰那楦猩硇盘柗治龇椒ǎ〉昧饲楦猩矸磻?yīng)樣本分析方法上的創(chuàng)新，發(fā)現(xiàn)了