基于卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)音合成聲碼器研究.pdf

1、語(yǔ)音合成聲碼器從基頻、頻譜等聲學(xué)特征中重構(gòu)語(yǔ)音波形，是統(tǒng)計(jì)參數(shù)語(yǔ)音合成系統(tǒng)中不可或缺的一部分。近年來(lái)，隨著深度神經(jīng)網(wǎng)絡(luò)模型在聲學(xué)建模中的成功應(yīng)用，聲學(xué)模型精度與合成語(yǔ)音自然度均得到了有效改善。但是以STRAIGHT為代表的傳統(tǒng)源-濾波器結(jié)構(gòu)聲碼器仍然存在頻譜細(xì)節(jié)丟失、相位依賴人工設(shè)計(jì)以及線性濾波框架等問(wèn)題，這仍然制約著統(tǒng)計(jì)參數(shù)方法合成語(yǔ)音質(zhì)量的進(jìn)一步提升。
　　2016年，DeepMind研究者提出了直接對(duì)語(yǔ)音波形建模與生成的深度

2、卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并將其用于從文本特征預(yù)測(cè)語(yǔ)音波形，取得了優(yōu)于傳統(tǒng)統(tǒng)計(jì)參數(shù)方法的合成語(yǔ)音自然度。利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)語(yǔ)音波形直接建模彌補(bǔ)了頻譜細(xì)節(jié)、相位信息丟失的缺陷，深層次的神經(jīng)網(wǎng)絡(luò)也具有靈活的非線性處理能力，這為語(yǔ)音合成聲碼器的實(shí)現(xiàn)提供了新的途徑。
　　本文圍繞基于卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)音合成聲碼器從三個(gè)方面展開研究工作。首先，設(shè)計(jì)實(shí)現(xiàn)了基于卷積神經(jīng)網(wǎng)絡(luò)的話者相關(guān)語(yǔ)音合成聲碼器;其次，提出了神經(jīng)網(wǎng)絡(luò)聲碼器的話者無(wú)關(guān)及自適應(yīng)訓(xùn)練方法，在

3、目標(biāo)語(yǔ)音數(shù)據(jù)有限情形下實(shí)現(xiàn)高質(zhì)量聲碼器的訓(xùn)練;最后，設(shè)計(jì)實(shí)現(xiàn)了多分辨率層級(jí)化網(wǎng)絡(luò)結(jié)構(gòu)，提升語(yǔ)音合成聲碼器的生成效率。
　　本文整體安排如下:
　　第一章是緒論，概述語(yǔ)音合成技術(shù)，介紹主流的波形拼接合成方法和統(tǒng)計(jì)參數(shù)合成方法，然后回顧了常用的語(yǔ)音合成聲碼器并分析其優(yōu)勢(shì)和不足。
　　第二章首先介紹DeepMind研究者提出的WaveNet模型，然后闡明用卷積神經(jīng)網(wǎng)絡(luò)對(duì)語(yǔ)音波形建模的動(dòng)機(jī)與出發(fā)點(diǎn)，并詳細(xì)介紹本文設(shè)計(jì)實(shí)現(xiàn)的基于

4、卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)音合成聲碼器模型。該模型構(gòu)造了一個(gè)上采樣網(wǎng)絡(luò)實(shí)現(xiàn)了聲學(xué)特征采樣率與輸出語(yǔ)音采樣率的匹配，然后將變換后的聲學(xué)條件信息加入網(wǎng)絡(luò)激活函數(shù)中指導(dǎo)語(yǔ)音的生成。
　　第三章首先回顧了說(shuō)話人自適應(yīng)技術(shù)歷史，介紹了語(yǔ)音識(shí)別與語(yǔ)音合成任務(wù)中的自適應(yīng)方法;然后介紹了本文提出的神經(jīng)網(wǎng)絡(luò)語(yǔ)音合成聲碼器的話者無(wú)關(guān)及自適應(yīng)訓(xùn)練方法;最后利用自然聲學(xué)特征和聲學(xué)模型預(yù)測(cè)聲學(xué)特征作為輸入重構(gòu)語(yǔ)音，實(shí)驗(yàn)驗(yàn)證了自適應(yīng)訓(xùn)練的有效性。
　　第四章首先