基于深度學習的小尺度單元拼接語音合成方法研究.pdf

1、語音合成技術旨在實現(xiàn)文本等輸入信息到語音波形的轉換。統(tǒng)計參數(shù)語音合成方法以及單元挑選與波形拼接方法是現(xiàn)階段實現(xiàn)語音合成的兩類主流方法。前者具有系統(tǒng)自動構建、合成語音平滑流暢等優(yōu)點。但是受制于參數(shù)合成器等因素，其合成語音的自然度仍不夠理想。在統(tǒng)計聲學模型指導下使用幀級長度的小尺度單元進行單元挑選和波形拼接，是一種改進統(tǒng)計參數(shù)方法合成語音自然度的有效途徑。傳統(tǒng)小尺度單元挑選方法使用隱馬爾科夫模型(hidden Markovmodel，HMM

2、)進行聲學建模和代價函數(shù)計算。而近年來，以深度神經網絡為代表的深度學習方法已經在統(tǒng)計參數(shù)語音合成的聲學建模中體現(xiàn)出了相對HMM的性能優(yōu)勢。
　　因此，本文圍繞基于深度學習的小尺度單元拼接語音合成方法開展研究工作。一方面，研究了用于指導小尺度單元挑選的神經網絡聲學建模方法，通過使用深度神經網絡與遞歸神經網絡等模型結構，提升了傳統(tǒng)HMM模型的建模精度與合成語音質量;另一方面，提出了一種結合單元挑選和參數(shù)生成的語音合成方法，利用幀拼接方

3、法實現(xiàn)了激勵特征波形的生成，改善了傳統(tǒng)統(tǒng)計參數(shù)合成方法中對于相位等激勵信息建模能力的不足，提高了合成語音自然度。本文的研究工作具體如下:
　　首先，本文提出了基于深度神經網絡的幀拼接語音合成方法。該方法使用深度神經網絡構建聲學模型用于幀挑選中的目標代價與連接代價的計算，相對傳統(tǒng)HMM模型提高了模型的預測精度與合成語音的主觀質量。
　　其次，本文研究了基于遞歸神經網絡的小尺度單元挑選與波形拼接合成方法。該方法一方面采用結合長短

4、時記憶單元的遞歸神經網絡進行聲學建模以改善深度神經網絡的時序建模能力，另一方面引入多幀挑選策略以減少拼接點，取得了比基于深度神經網絡的幀拼接方法更好的合成語音自然度。
　　最后，本文設計實現(xiàn)了結合單元挑選激勵生成的參數(shù)合成方法。該方法對提取的激勵特征波形進行參數(shù)表征和聲學建模，在合成階段使用幀拼接方法生成激勵特征波形的高頻成分，同時使用參數(shù)生成方法預測濾波器特征，最終通過濾波合成語音波形。實驗結果表明了該方法在改善統(tǒng)計參數(shù)方法合成