基于多粒度特征融合的維度語(yǔ)音情感識(shí)別方法研究.pdf

1、國(guó)內(nèi)圖書(shū)分類(lèi)號(hào)：TP39學(xué)校代碼：10213國(guó)際圖書(shū)分類(lèi)號(hào)：681.3密級(jí)：公開(kāi)碩士碩士學(xué)位論文學(xué)位論文基于多粒度特征融合的維度語(yǔ)音情感識(shí)別方法研究碩士研究生：陳肖導(dǎo)師：李海峰教授申請(qǐng)學(xué)位：工學(xué)碩士學(xué)科：計(jì)算機(jī)科學(xué)與技術(shù)所在單位：計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院答辯日期：2016年6月授予學(xué)位單位：哈爾濱工業(yè)大學(xué)摘要I摘要源于人工智能領(lǐng)域語(yǔ)音處理技術(shù)的飛速發(fā)展，人們希望可以和機(jī)器進(jìn)行更自然、貼切的交流。語(yǔ)音情感識(shí)別是繼語(yǔ)音識(shí)別之后，人機(jī)交互中的又一

2、熱點(diǎn)問(wèn)題，得到了研究者們廣泛的關(guān)注。近年來(lái)，隨著心理學(xué)、生理學(xué)、神經(jīng)科學(xué)、認(rèn)知科學(xué)和計(jì)算機(jī)科學(xué)的發(fā)展，探究符合人類(lèi)情感表達(dá)相關(guān)聯(lián)的新特征，是當(dāng)前研究領(lǐng)域內(nèi)十分重要的研究課題。但目前在維度語(yǔ)音情感識(shí)別方面的研究較少，而且沒(méi)有公開(kāi)認(rèn)可的維度語(yǔ)音情感特征集和高效的分類(lèi)方法。在維度語(yǔ)音情感特征集的構(gòu)建方面，本文提取了維度語(yǔ)音情感識(shí)別常用的韻律學(xué)特征、音質(zhì)特征和基于譜的特征，另外根據(jù)Teager等人實(shí)驗(yàn)發(fā)現(xiàn)的語(yǔ)音非線性產(chǎn)生模型，結(jié)合梅爾聽(tīng)覺(jué)心理認(rèn)

3、知規(guī)律，我們提取了非線性Teager_Mel特征。這樣提取的特征既可以考慮到語(yǔ)音產(chǎn)生的過(guò)程的非線性，同時(shí)也綜合了人耳聽(tīng)覺(jué)的心理效應(yīng)，分別在公開(kāi)的情感語(yǔ)料庫(kù)DISEC和VAM進(jìn)行了實(shí)驗(yàn)，結(jié)果表面基于Teager非線性理論提取的特征識(shí)別效果要優(yōu)于在語(yǔ)音處理中常用的梅爾倒譜系數(shù)。在上面提取的維度語(yǔ)音情感特征集的基礎(chǔ)了，我們對(duì)此特征集做了一系列的后處理。傳統(tǒng)的維度語(yǔ)音情感識(shí)別系統(tǒng)都是采用全局統(tǒng)計(jì)特征，即將提取的全句的幀特征進(jìn)行統(tǒng)計(jì)，然而這種劃分

4、的方式有可能造成韻律學(xué)細(xì)節(jié)信息的丟失，所以本文研究了更加合適的情感識(shí)別單元，在語(yǔ)段粒度上進(jìn)行各種統(tǒng)計(jì)量的計(jì)算。同時(shí)我們考慮到人腦對(duì)情感認(rèn)知處理的三階段過(guò)程，即醞釀階段、情感充分表達(dá)階段和情感收尾階段。將這種認(rèn)知過(guò)程的起伏變化用數(shù)學(xué)上的高斯函數(shù)進(jìn)行模型化，這樣我們得到了窗特征。為了能從人腦處理語(yǔ)音情感信號(hào)的角度出發(fā)，同時(shí)考慮到語(yǔ)音的時(shí)序信息，本文提出了一個(gè)基于認(rèn)知機(jī)理的回饋神經(jīng)網(wǎng)絡(luò)（CMRNN），并將CMRNN應(yīng)用于維度語(yǔ)音情感識(shí)別。我們