不同關系的對話者間褒貶態(tài)度的語音表達與多模態(tài)感知研究.pdf

1、在語音學領域，對情感的研究有兩個特點:一是從內(nèi)容上看，大多數(shù)研究都集中在基本情緒上，而對社會情感（包括態(tài)度）的研究非常少;二是從語言上看，漢語情感的研究還落后于其他語言，如英語、日語、法語等。因此，本文著力研究不同關系的說話者間漢語態(tài)度語音的產(chǎn)出與感知特性。
　　本文的研究問題有兩個:
　　(1)聽話人如何通過語音形式、面部表情等多種模態(tài)信息來感知對話者之間的友好或?qū)α㈥P系、褒揚或貶責態(tài)度的？
　　(2)說話人是如何通

2、過特定的語音韻律特征來分別表達友好或?qū)α㈥P系、褒揚或貶責態(tài)度的？
　　本文通過感知實驗和聲學分析，考察不同關系（友好、對立）的談話者之間，是如何傳遞不同態(tài)度（褒揚、貶責）的。
　　在感知實驗中，通過給12名被試播放純音頻、純視頻和音視頻三種模態(tài)的刺激，讓被試判斷出刺激所包含的話者關系和褒貶態(tài)度。感知實驗的主要結果有:
　　(1)在兩種話者關系中，友好關系的辨識率更高;在褒貶態(tài)度中，褒揚態(tài)度的辨識率更高;在三種模態(tài)中，純

3、視頻模態(tài)的辨識率最高。
　　(2)當話者關系為友好時，褒揚態(tài)度的辨識率顯著高于貶責態(tài)度;當話者關系為對立時，褒揚態(tài)度的辨識率也高于貶責態(tài)度，但其辨識優(yōu)勢(60.1％ vs40.2％)低于友好關系時的辨識優(yōu)勢(84.7％ vs46.2％)。
　　(3)褒揚態(tài)度在純視頻模態(tài)下辨識率最高，貶責態(tài)度在音視頻模態(tài)下辨識率最高。這說明聽話者僅通過面部表情就可以很好地判斷出褒揚態(tài)度，但在判斷貶責態(tài)度時需要同時結合聲音韻律和面部表情。

4、>　　(4)友好關系在音視頻模態(tài)下辨識率最高，對立關系在純視頻模態(tài)下辨識率最高。這表明聽話者判斷友好關系時，需要結合聲音韻律和面部表情，而判斷對立關系時，僅通過面部表情就可以很好地判斷。
　　在聲學分析中，考察了情感態(tài)度和韻律特征之間的對應關系。本文提取了基頻、時長、能量、嗓音等17個相關的聲學參數(shù)，通過多元方差分析、因子分析和判別分析，系統(tǒng)考察了不同話者關系、褒貶態(tài)度與韻律參數(shù)之間的關系。方差分析的主要研究結果有:
　　當

5、談話者之間是友好關系時，說話者表達褒揚態(tài)度會用更高的基頻、更快的語速，更大的振幅抖動、更小的諧波噪聲比;當談話者之間是對立關系時，說話者表達褒揚態(tài)度會用較低的基頻、更小的調(diào)域、更慢的語速、更小的能量、更小的振幅抖動、更大的諧波噪聲比。
　　上述結果表明，談話者之間的關系，會影響褒貶態(tài)度的表達:當談話者之間為友好關系時，說話者表達褒揚和貶責態(tài)度需要用基頻、時長和嗓音進行區(qū)分，而能量沒有變化;當談話者之間為對立關系時，說話者表達褒揚和

6、貶責態(tài)度需要使用基頻、時長、能量、嗓音進行區(qū)分。
　　本文同時對提取到的17個聲學參數(shù)進行降維，利用因子分析發(fā)現(xiàn)，前六個公共因子可以包含原來80.32％的信息，分別對應了嗓音參數(shù)、能量離散參數(shù)、基頻離散參數(shù)、基頻集中參數(shù)、能量集中參數(shù)和時長參數(shù)。通過判別分析發(fā)現(xiàn)，利用前六個公共因子對表達風格、話者關系和褒貶態(tài)度進行判別的辨識率均高于被試主觀判斷的辨識率。這說明基頻、時長、能量、嗓音的相關聲學參數(shù)可以很好地刻畫在友好、對立兩種對話者