基于深度學(xué)習(xí)的語音分離研究.pdf

1、語音分離將目標語音從背景噪聲中分離出來，去除了語音中的噪聲，提高了聽感知質(zhì)量和可懂度，可廣泛應(yīng)用于助聽器、移動通訊、語音識別、說話人識別等領(lǐng)域?；谏疃葘W(xué)習(xí)的方法將語音分離形式化為一個機器學(xué)習(xí)問題，通過訓(xùn)練學(xué)習(xí)器，將輸入的帶噪語音轉(zhuǎn)換為純凈的目標語音。與傳統(tǒng)處理手段相比，這一方法大幅度地提升了語音分離的性能，具有廣闊的研究前景。本文關(guān)注于語音分離問題，針對其中的主要問題提出了新思路和新方法。本文的創(chuàng)新點和主要貢獻體現(xiàn)在以下幾個方面:

2、r>　　1.提出了將時頻掩蔽目標和頻譜映射目標相互融合的集成學(xué)習(xí)方法。通過比較訓(xùn)練目標不相同的分離模型的輸出，發(fā)現(xiàn)了兩類目標的互補性質(zhì)，將多目標深度神經(jīng)網(wǎng)絡(luò)作為分離模型，同時預(yù)測時頻掩蔽目標和頻譜映射目標，在此基礎(chǔ)上，比較研究了多種融合手段，最終采用多層感知器進行結(jié)果融合，并將分離模型與融合模型聯(lián)合訓(xùn)練、整體優(yōu)化。本方法充分利用了兩類目標提供的互補信息，提高了系統(tǒng)的分離性能。
　　2.提出了基于卷積神經(jīng)網(wǎng)絡(luò)的語音基音估計方法。通過

3、對和語音基音直接對應(yīng)的諧波結(jié)構(gòu)的分析，發(fā)現(xiàn)了諧波結(jié)構(gòu)在線性頻譜中具有平移不變性的現(xiàn)象，因而提出使用能夠建模平移不變性的卷積神經(jīng)網(wǎng)絡(luò)來刻畫諧波結(jié)構(gòu)，提升了語音基音估計的準確率。
　　3.提出了語音分離和基音估計聯(lián)合算法。通過對語音分離和基音估計兩個任務(wù)的分析，我們發(fā)現(xiàn)對于語音分離任務(wù)，基音是有高度區(qū)分性的魯棒特征。同時，對于基音估計任務(wù)，語音分離可以去除噪聲，提升基音估計的準確率。因此，語音分離和基音估計可以相互促進共同提高。所以，

4、提出了將兩者相結(jié)合的聯(lián)合算法，交替處理語音分離和基音估計兩個任務(wù)，并將這一過程作為一個處理模塊，嵌入到深度層疊網(wǎng)絡(luò)中，自然地完成多次迭代，隨著網(wǎng)絡(luò)深度的加深，兩個任務(wù)的性能都得到了提升。
　　4.提出了單聲道和多聲道語音增強聯(lián)合算法。通過對單聲道和多聲道的語音增強方法的分析，發(fā)現(xiàn)單聲道語音分離可以減少噪聲，提高麥克風(fēng)陣列的導(dǎo)向向量估計的準確率，進而提升多聲道語音增強的性能。同時，多聲道語音增強可以提供單聲道分離所需要的跨聲道信息。