基于深度學(xué)習(xí)的有監(jiān)督語音分離方法研究.pdf

1、語音分離技術(shù)一直是語音信號(hào)處理領(lǐng)域的重要研究方向，尤其是近年來隨著智能設(shè)備的普及，一個(gè)好的前端語音分離模塊直接影響了語音交互技術(shù)的發(fā)展。但是由于外界環(huán)境的復(fù)雜多變，且早期的淺層模型在處理語音的非線性結(jié)構(gòu)信息方面的能力不足，因此單通道、低信噪比和非平穩(wěn)噪聲環(huán)境下的語音分離性能一直不盡人意。近年來隨著深度學(xué)習(xí)的發(fā)展，深層模型由于其本身復(fù)雜的多層非線性結(jié)構(gòu)，很適合挖掘語音數(shù)據(jù)中的時(shí)空結(jié)構(gòu)信息，并能夠自動(dòng)學(xué)習(xí)深層次的抽象化特征，因此把深度學(xué)習(xí)應(yīng)

2、用到語音分離領(lǐng)域具有重要的研究意義。本文重點(diǎn)研究了單通道非平穩(wěn)噪聲條件下的有監(jiān)督語音分離問題，利用深層模型挖掘出從原始的帶噪語音到純凈的目標(biāo)語音之間的非線性映射關(guān)系。本文的主要工作如下:
　　首先，本文對(duì)基于深度神經(jīng)網(wǎng)絡(luò)(DNN)的語音分離方法進(jìn)行了研究和實(shí)現(xiàn)，并針對(duì)現(xiàn)有的DNN模型的缺陷提出了改進(jìn)的模型C-DNN，即在一般的DNN網(wǎng)絡(luò)結(jié)構(gòu)之前增加一個(gè)一維的卷積層（包括池化層）。所提的C-DNN模型可以利用前面的卷積層直接對(duì)語音的

3、幀級(jí)特征建模，通過一維的卷積預(yù)處理操作，自動(dòng)學(xué)習(xí)隱藏在數(shù)據(jù)中的抽象特征，然后利用后面的全連接層挖掘混合語音的特征與理想目標(biāo)之間的非線性映射關(guān)系。該模型可以充分利用每個(gè)時(shí)間幀中的相鄰頻帶之間的相關(guān)性信息，同時(shí)減小了特征選擇的困難，降低了輸入特征的數(shù)據(jù)維度。本文基于語音的單幀特征對(duì)所提的C-DNN模型進(jìn)行了實(shí)驗(yàn)驗(yàn)證，并和網(wǎng)絡(luò)深度相同的DNN模型進(jìn)行了對(duì)比，其中輸入特征選擇64通道的GF(Gammatone Feature)特征及其一階差分值

4、的組合特征，分離目標(biāo)選擇了常用的理想二值掩蔽(IBM)。實(shí)驗(yàn)結(jié)果表明，在相同實(shí)驗(yàn)條件下，參數(shù)更少的C-DNN模型的語音分離效果明顯優(yōu)于DNN模型，即可以獲得可懂度和感知質(zhì)量更好的分離語音。同時(shí)我們對(duì)不同的信噪比和背景噪聲條件下的混合語音進(jìn)行了多組實(shí)驗(yàn)，驗(yàn)證了所提方法的有效性及泛化能力。
　　然后，本文提出基于CNN的語音分離方法和框架，利用CNN處理二維信號(hào)的本質(zhì)優(yōu)勢(shì)及其強(qiáng)大的特征學(xué)習(xí)能力，挖掘語音時(shí)頻信號(hào)中的時(shí)空結(jié)構(gòu)信息。該方法

5、可以直接對(duì)語音頻譜的上下文特征進(jìn)行建模，充分利用了語音信號(hào)的時(shí)頻相關(guān)性和局部特征，因而對(duì)提高語音分離系統(tǒng)的性能非常有益。本文對(duì)基于CNN的語音分離方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證，并和DNN模型進(jìn)行了對(duì)比實(shí)驗(yàn)。輸入特征選擇64通道的GF特征及其一階差分值，上下文特征窗口大小選為5個(gè)時(shí)間幀，對(duì)分離目標(biāo)為理想二值掩蔽(IBM)和理想浮值掩蔽(IRM)的兩種情況進(jìn)行了測(cè)試，并從分離語音的客觀可懂度、感知質(zhì)量及分離目標(biāo)的可視化三個(gè)方面對(duì)模型進(jìn)行了評(píng)價(jià)。兩種分