個(gè)性化語音生成研究.pdf

1、個(gè)性化語音生成是指生成具有特定說話人特征的語音。個(gè)性化語音生成的應(yīng)用非常廣泛，比如可以改變語音合成系統(tǒng)的語音以提供個(gè)性化的合成語音，或在語音聊天、在線游戲中隱藏說話人的真實(shí)身份，也可以在多媒體彩信中模仿他人以達(dá)到娛樂的效果等。目前最常用的個(gè)性化語音生成方法有兩種：一是說話人轉(zhuǎn)換方法：二是語音合成模型自適應(yīng)方法。兩種方法有著各自的優(yōu)缺點(diǎn)，適用于不同的應(yīng)用場(chǎng)合。本文對(duì)這兩種方法的特點(diǎn)和聯(lián)系進(jìn)行探討，針對(duì)不同方法存在的問題和應(yīng)用的實(shí)際需求進(jìn)行

2、改進(jìn)，并通過系統(tǒng)評(píng)測(cè)驗(yàn)證了改進(jìn)的效果。論文包括五部分內(nèi)容：
　　 在第一部分，論文將對(duì)個(gè)性化特征、個(gè)性化語音生成的實(shí)際需求以及不同個(gè)性化語音生成方法的特點(diǎn)和使用場(chǎng)景進(jìn)行總結(jié)分析。首先對(duì)人的發(fā)音過程的聲學(xué)機(jī)理和數(shù)學(xué)模型進(jìn)行了簡要介紹，在此基礎(chǔ)上總結(jié)了不同的說話人特征參數(shù)。然后對(duì)個(gè)性化語音生成的實(shí)際需求進(jìn)行分析，并對(duì)個(gè)性化語音生成方法的優(yōu)缺點(diǎn)和適用場(chǎng)景進(jìn)行討論。
　　 在第二部分，論文則是對(duì)最常用的兩類說話人轉(zhuǎn)換方法：基于G

3、MM的方法和基于碼本映射的方法，進(jìn)行一個(gè)系統(tǒng)的分析。論文首先介紹GMM方法以及幾種最重要的分支。接下去，對(duì)Abe的經(jīng)典碼本映射方法以及Alsan提出的STASC碼本映射方法進(jìn)行介紹。之后，論文將對(duì)這兩種方法進(jìn)行一個(gè)系統(tǒng)的分析比較，指出各自的優(yōu)點(diǎn)和不足。最后，將討論在實(shí)踐中發(fā)現(xiàn)的GMM方法和碼本映射方法存在的兩個(gè)共同的問題：1.源和目標(biāo)說話人對(duì)應(yīng)數(shù)據(jù)的不匹配問題；2.轉(zhuǎn)換頻譜的過平滑問題。這些分析和討論將指引本文探索新的說話人轉(zhuǎn)換方法。<

4、br>　　 論文在第三部分，針對(duì)現(xiàn)有說話人轉(zhuǎn)換方法存在的問題，提出了一種基于頻譜彎曲的說話人轉(zhuǎn)換方法，其中頻譜彎曲函數(shù)是基于源說話人和目標(biāo)說話人的映射共振峰參數(shù)生成。這種方法有兩個(gè)優(yōu)點(diǎn)：一是所需訓(xùn)練數(shù)據(jù)非常少。二是轉(zhuǎn)換語音具有較高的音質(zhì)。為了進(jìn)一步提高與目標(biāo)說話人的相似度，論文提出了一種結(jié)合頻譜彎曲和單元挑選的說話人轉(zhuǎn)換方法以提高頻譜細(xì)節(jié)上的相似度。該方法首先進(jìn)行頻譜彎曲，然后將彎曲后的頻譜作為目標(biāo)進(jìn)行單元挑選。接下去將部分彎曲后的頻

5、譜用挑選到的目標(biāo)說話人的真實(shí)頻譜進(jìn)行替換，最后重構(gòu)出轉(zhuǎn)換后的語音。評(píng)測(cè)結(jié)果表明，基于本文的頻譜彎曲方法獲得的轉(zhuǎn)換語音音質(zhì)遠(yuǎn)優(yōu)于其他方法，并且在音質(zhì)和相似度上取得較好的平衡。評(píng)測(cè)結(jié)果同時(shí)表明結(jié)合頻譜彎曲和單元挑選可以比頻譜彎曲獲得顯著的相似度提高。
　　
　　 論文在第四部分，針對(duì)多語種語音合成系統(tǒng)遇到的實(shí)際問題，創(chuàng)新性地利用語音合成模型自適應(yīng)和說話人轉(zhuǎn)換方法相結(jié)合的個(gè)性化語音生成實(shí)現(xiàn)多語種語音合成系統(tǒng)。當(dāng)今社會(huì)，中英文

6、混合的文本越來越多。為了保證合成語音的自然連貫，通常要求中英文混合的文本內(nèi)容用一個(gè)聲音合成出來。然而，由于很多中文發(fā)音人的英文并不專業(yè)，直接用這種不專業(yè)的英文訓(xùn)練出來的模型合成的英文聽起來會(huì)很不自然。這里，我們提出使用個(gè)性化語音生成方法借助一個(gè)英文母語發(fā)音人的模型，以獲得更自然的中文說話人音色的英文合成語音。在使用最大似然語音合成模型自適應(yīng)修改頻譜模型的同時(shí)，我們利用說話人轉(zhuǎn)換的韻律調(diào)整對(duì)韻律模型進(jìn)行修改以獲得更自然的合成韻律。評(píng)測(cè)結(jié)果