面向人機交互的姿態(tài)信息與語音信息關系研究.pdf

1、人機交互是計算機科學的一個相當重要的研究領域。語音合成、語音識別、面部表情識別、姿勢識別以及姿勢合成等研究都是這一領域的重要組成部分，并且都取得了很好的進展。但是這些研究都是在單一交互通道上進行的。而現實中人與人在交際過程并不是僅僅通過一種途徑來表達和傳遞信息，而是多種途徑共同表達。所以想要使計算機能夠和人進行自然的交流，就必須理解人的這多種途徑表達信息之間的相互關系。本文的研究目的就是以解釋多種途徑表達信息之間的關系為出發(fā)點，研究交際

2、過程中的姿態(tài)表達和言語特征的關系，具體來說就是研究姿態(tài)表達和語音表達的關系。 本文以4段電視訪談節(jié)目的視頻和音頻為原始數據，在本文提出的多模態(tài)標注系統(tǒng)的基礎上對視頻信息進行了姿態(tài)標注，并對語音信息進行了韻律標注。然后對音頻和視頻的標注信息進行提取，用統(tǒng)計學的方法對數據進行了分析。研究結論支持語音與姿態(tài)表達之間的關聯(lián)理論。本文的結構分成3個部分：首先提出了多模態(tài)標注系統(tǒng)，然后通過一個感知實驗來觀察姿態(tài)與語音信息在語言理解中的關系，