雙模態(tài)漢語(yǔ)情感語(yǔ)音合成的研究.pdf

1、以清晰自然的合成語(yǔ)音,準(zhǔn)確生動(dòng)地傳達(dá)語(yǔ)義信息是新一代語(yǔ)音合成系統(tǒng)所追求的目標(biāo)。雙模態(tài)情感語(yǔ)音合成的主要任務(wù)是,通過(guò)建立虛擬人臉模型,使計(jì)算機(jī)在合成語(yǔ)音的同時(shí)生成富有情感表現(xiàn)力的視覺(jué)信息。雙模態(tài)語(yǔ)音合成和語(yǔ)音識(shí)別是人機(jī)語(yǔ)音交互所需的兩項(xiàng)關(guān)鍵技術(shù),在信息處理領(lǐng)域有著重要的應(yīng)用價(jià)值。
　　 本文的主要研究?jī)?nèi)容有三維人臉建模和渲染、三維動(dòng)畫驅(qū)動(dòng)方法、漢語(yǔ)情感韻律特征建模和基于基音同步疊加算法的語(yǔ)音合成。
　　 人臉建模方面,完成

2、了VRML模型解析和基于OpenGL的渲染。所用模型由7個(gè)人臉部件組成,共包含6435個(gè)頂點(diǎn)和12280個(gè)面。該模型在同類相關(guān)研究中復(fù)雜度較高,對(duì)人臉細(xì)節(jié)的刻確更為逼真。
　　 對(duì)比研究了參數(shù)控制和數(shù)據(jù)驅(qū)動(dòng)兩種三維動(dòng)畫驅(qū)動(dòng)方法。通過(guò)改進(jìn)控制參數(shù)的采集方式,解決了齒、舌、喉等器官的運(yùn)動(dòng)問(wèn)題。在基于MPEG-4標(biāo)準(zhǔn)的FAP參數(shù)控制法中,采用徑向基函數(shù)和升余弦函數(shù)控制唇動(dòng)和表情變化。在基于關(guān)鍵幀插值的數(shù)據(jù)驅(qū)動(dòng)法中,使用三次多項(xiàng)式插值法

3、,對(duì)視素幀和表情幀進(jìn)行空間矢量加權(quán),生成融合后的動(dòng)畫幀。結(jié)果表明,FAP參數(shù)法可以實(shí)現(xiàn)細(xì)微的表情和唇形變化;數(shù)據(jù)驅(qū)動(dòng)法通過(guò)融合多個(gè)關(guān)鍵幀可以快速產(chǎn)生新的表情種類。
　　 為提高合成語(yǔ)音自然度,準(zhǔn)確表達(dá)情感信息,對(duì)基于波形拼接的語(yǔ)音合成系統(tǒng)進(jìn)行了改進(jìn)。在系統(tǒng)前端加入基于人工神經(jīng)網(wǎng)絡(luò)的韻律預(yù)測(cè)模型,后端加入基于PSOLA算法的韻律修改模型。合成階段使用基于決策樹(shù)和代價(jià)函數(shù)相結(jié)合的基元選擇法。仿真結(jié)果顯示,合成的語(yǔ)音感情色彩明顯,經(jīng)過(guò)