語音情感識(shí)別關(guān)鍵技術(shù)研究.pdf

1、語音情感識(shí)別是人工智能領(lǐng)域的一個(gè)重要分支，是一項(xiàng)通過處理分析語音信號(hào)來識(shí)別說話人情感狀態(tài)的技術(shù)，在自然人機(jī)交互、疾病診斷和監(jiān)控、疲勞檢測、公共安全等領(lǐng)域有著日趨廣泛的應(yīng)用。近年來，隨著心理學(xué)、生理學(xué)、神經(jīng)科學(xué)及計(jì)算機(jī)技術(shù)的發(fā)展，語音情感識(shí)別技術(shù)取得了顯著的進(jìn)步，但是由于情感的復(fù)雜性和情感理論基礎(chǔ)更新的滯后性，當(dāng)前的研究水平距離成熟的技術(shù)應(yīng)用有著很大的差距。結(jié)合當(dāng)前語音情感識(shí)別研究狀況與實(shí)際需要，本文分別從特征提取、情感描述模型升級(jí)和識(shí)別

2、模型構(gòu)建等不同層面逐一展開語音情感識(shí)別研究，并提出了一系列的解決方法，主要研究內(nèi)容包括：
　　(1)定量地給出了不同情感狀態(tài)的情感韻律粒度，并提出了兩種基于長短時(shí)特征融合的語音情感分類方法。本文在自建離散情感語料庫的基礎(chǔ)之上，首先對包括韻律學(xué)特征和聲音質(zhì)量特征在內(nèi)的語音情感特征在不同情感狀態(tài)(高興、憤怒、悲傷、驚奇)上的變化規(guī)律進(jìn)行了定性分析，其次對特征提取時(shí)長與情感區(qū)分能力之間的關(guān)聯(lián)模式進(jìn)行了定量分析，并確定了最佳的語音情感特征

3、提取時(shí)長作為情感韻律粒度的衡量。基于以上的分析結(jié)果，及人類聽辨語音時(shí)所表現(xiàn)出的連續(xù)性和漸進(jìn)性，本文分別提出了一種同時(shí)具有短時(shí)反饋機(jī)制和長時(shí)控制機(jī)制的全局控制Elman神經(jīng)網(wǎng)絡(luò)模型，和一種基于情感韻律差異建模的情感韻律Elman網(wǎng)絡(luò)，實(shí)現(xiàn)了語音情感分類過程中對長短時(shí)聲學(xué)特征的有效融合。同分別使用短時(shí)和長時(shí)特征的情形相比，特征融合后的系統(tǒng)識(shí)別性能有了不同程度的提升。
　　(2)對傳統(tǒng)語音情感識(shí)別使用的情感描述模型進(jìn)行了更新，開展了基于

4、維度情感描述模型的語音情感識(shí)別研究。并且考慮到國內(nèi)在維度語音情感識(shí)別研究上的空白，本文建立了并發(fā)布了一個(gè)完全源于自然語音和自發(fā)情感的漢語維度情感語料庫MREC，為普通話維度情感識(shí)別研究奠定了扎實(shí)的數(shù)據(jù)基礎(chǔ)，填補(bǔ)了漢語維度情感語料庫的空白。另外還提煉總結(jié)了日常生活場景下的維度情感語料庫的錄制方法、標(biāo)注方法及其測評方法。
　　(3)提出了基于回歸預(yù)測主動(dòng)學(xué)習(xí)策略的維度語音情感識(shí)別方法。針對維度語音情感識(shí)別領(lǐng)域中的語料規(guī)模大、情感打分難

5、度大、標(biāo)注工作繁重的問題，本文提出運(yùn)用主動(dòng)學(xué)習(xí)思想來指導(dǎo)維度情感的標(biāo)注和識(shí)別模型的學(xué)習(xí)。為此，本文設(shè)計(jì)了包括基于委員會(huì)投票、基于最近邊界置信度和基于差異性加權(quán)置信度在內(nèi)的三種回歸預(yù)測主動(dòng)學(xué)習(xí)算法，用于對候選語料的信息度進(jìn)行有效地估計(jì)。實(shí)驗(yàn)證實(shí)，通過運(yùn)用上述三種主動(dòng)學(xué)習(xí)算法，本文有效地實(shí)現(xiàn)了對高質(zhì)量訓(xùn)練語料的選擇，并相應(yīng)地取得了提高模型訓(xùn)練效率和系統(tǒng)情感識(shí)別性能等多方面成效。該研究是主動(dòng)學(xué)習(xí)思想同維度語音情感識(shí)別的首次融合。
　　(

6、4)提出了基于Kullback-Leibler測度的情感順序預(yù)測損失估計(jì)方法和基于順序敏感神經(jīng)網(wǎng)絡(luò)的維度語音情感識(shí)別方法?？紤]到語音樣本間的情感變化趨勢在判斷說話人的意圖、觀點(diǎn)和態(tài)度時(shí)所發(fā)揮的重要作用，本文提出在維度語音情感識(shí)別的建模過程中同時(shí)考慮情感數(shù)值預(yù)測和樣本間情感強(qiáng)弱順序的預(yù)測。為此，本文將維度語音情感識(shí)別任務(wù)建模為一種改進(jìn)的回歸預(yù)測模型——順序敏感的神經(jīng)網(wǎng)絡(luò)模型：首先將解決問題的關(guān)鍵轉(zhuǎn)化為，由數(shù)值損失和順序損失兩部分組成的預(yù)測

7、損失函數(shù)的最小化過程，繼而使用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法實(shí)現(xiàn)預(yù)測損失的最小化。其中預(yù)測損失中的順序損失部分是對由預(yù)測造成的樣本間情感強(qiáng)弱順序錯(cuò)誤程度的定義。本文提出使用概率模型對樣本間的情感強(qiáng)弱排序情況進(jìn)行形式化描述，然后使用Kullback-Leibler概率分布距離對預(yù)測造成順序損失進(jìn)行量化。該模型在維度語音情感識(shí)別的任務(wù)中能夠表現(xiàn)出優(yōu)異于目前被廣泛使用的支持向量回歸預(yù)測器的情感強(qiáng)弱順序預(yù)測能力。該研究為人-機(jī)交互系統(tǒng)正確判斷用戶情感變化，從

8、而做出正確的交互決策提供了更加可靠的技術(shù)保障。
　　(5)提出了基于分裂矢量量化的分布式語音情感識(shí)別模型。分布式語音情感識(shí)別技術(shù)是語音情感識(shí)別得以推廣的必要環(huán)節(jié)，為此本文以“客戶端低成本、數(shù)據(jù)傳輸?shù)蛶?、情感識(shí)別高性能”為原則，提出了一種分布于客戶端-服務(wù)器端的語音情感識(shí)別模型：將語音采集、特征提取和壓縮模塊放置于客戶端，將特征解壓縮和情感識(shí)別模塊放置于遠(yuǎn)程服務(wù)器端，使用分裂矢量量化算法實(shí)現(xiàn)聲學(xué)特征的壓縮。本文對自然情感語音在該分