語音驅(qū)動虛擬說話人研究.pdf

1、語音驅(qū)動虛擬說話人技術(shù)指的是通過輸入語音信息生成虛擬人面部動畫。不僅提高用戶對語音的理解度，而且提供一種真實、友好的人機(jī)交互方式。隨著該技術(shù)的發(fā)展進(jìn)步，勢必為我們帶來更多新的人機(jī)交互體驗，極大豐富我們的日常生活。
　　本文采用兩種方案研究語音驅(qū)動虛擬說話人動畫合成，并對其進(jìn)行分析對比。第一種方案，基于深度神經(jīng)網(wǎng)絡(luò)的語音驅(qū)動發(fā)音器官運動合成。第二種方案，基于MPEG-4的語音驅(qū)動虛擬說話人動畫合成。這兩種方案均需要找到相應(yīng)的語料庫，

2、并對其進(jìn)行提取構(gòu)建出適合本研究問題的聲視覺數(shù)據(jù)。第一種方案:語音的產(chǎn)生與聲道發(fā)音器官的運動直接相關(guān)，如唇部、舌頭和軟腭的位置與移動。通過深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)語音特征參數(shù)與發(fā)音器官位置信息兩者之間的映射關(guān)系，系統(tǒng)根據(jù)輸入的語音數(shù)據(jù)估計出發(fā)音器官的運動軌跡，并將其體現(xiàn)在一個三維的虛擬人上面。首先，在一系列參數(shù)下對比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)和深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network，D

3、NN)的實驗結(jié)果，得到最優(yōu)網(wǎng)絡(luò);其次，設(shè)置不同上下文語音特征參數(shù)長度并調(diào)整隱藏層單元數(shù)，獲取最佳的上下文長度;最后，選取最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，由最優(yōu)網(wǎng)絡(luò)輸出的發(fā)音器官運動軌跡信息控制發(fā)音器官運動合成，實現(xiàn)虛擬人動畫合成。第二種方案:基于MPEG-4的語音驅(qū)動虛擬說話人動畫合成的方法是一種數(shù)據(jù)驅(qū)動方法。首先，本論文從LIPS2008數(shù)據(jù)庫中提取構(gòu)建出適合本論文的聲視覺語料庫。然后，使用BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)的方法學(xué)習(xí)語音