基于深度學(xué)習(xí)和遷移學(xué)習(xí)的環(huán)境聲音識(shí)別.pdf

1、作為一種感知周圍環(huán)境十分有效的方法，環(huán)境聲音識(shí)別(Enviorment Sound Recognition,ESR)被廣泛的應(yīng)用在機(jī)器人導(dǎo)航、移動(dòng)機(jī)器人、音頻檢索、音頻取證以及其它基于情景感知、可穿戴的應(yīng)用中。目前，多種經(jīng)典的分類器被廣泛的應(yīng)用在ESR問題中，但其性能還遠(yuǎn)未達(dá)到理想的水平，為了進(jìn)一步提升ESR性能，本文首先引入了深度學(xué)習(xí)技術(shù)，深度神經(jīng)網(wǎng)絡(luò)作為一種高性能、多層級(jí)的神經(jīng)網(wǎng)絡(luò)，已經(jīng)被廣泛證明在提取數(shù)據(jù)特征和建立識(shí)別模型方面具有

2、一定優(yōu)勢(shì)。聲音因采集時(shí)無方向要求、且始終蘊(yùn)含環(huán)境信息等優(yōu)勢(shì)，在環(huán)境識(shí)別時(shí)扮演主要角色，但考慮到一般情況下采集音頻時(shí)容易獲取若干輔助的視頻信息，而且顯然多模態(tài)信息更有助于提升環(huán)境識(shí)別的準(zhǔn)確率，所以本文在構(gòu)建基于深度神經(jīng)網(wǎng)的環(huán)境識(shí)別方法時(shí)，同時(shí)利用音頻特征和輔助視頻特征。此外，針對(duì)在實(shí)際應(yīng)用中環(huán)境類別非常多，新的識(shí)別需求不斷涌現(xiàn)，針對(duì)新類別的數(shù)據(jù)標(biāo)注和訓(xùn)練開銷過大的問題，提出基于遷移學(xué)習(xí)的環(huán)境聲音識(shí)別方法，基于已建模的相似環(huán)境類，和新類別的

3、少量標(biāo)注數(shù)據(jù)，學(xué)習(xí)得到新環(huán)境類別模型。
　　本文將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用在環(huán)境聲音識(shí)別問題中，為了充分利用聲音特征和輔助視頻特征，本文對(duì)如何融合兩種模態(tài)信息進(jìn)行探討，提出兩種特征融合方法，分別為基于特征的融合以及基于模型的融合。基于特征融合的環(huán)境聲音識(shí)別方法，將音頻特征和視頻特征直接拼接作為深度信念網(wǎng)絡(luò)(Deep Belief Network,DBN)的輸入，并通過訓(xùn)練DBN進(jìn)行環(huán)境場(chǎng)景的識(shí)別；基于模型融合的環(huán)境聲音識(shí)別方法分別對(duì)音頻信

4、息和輔助視頻信息建立DBN模型，并調(diào)至最優(yōu)性能，然后用一個(gè)新的DBN用來代替原有兩個(gè)DBN的輸出層以實(shí)現(xiàn)模型融合，最終通過訓(xùn)練新的DBN進(jìn)行環(huán)境聲音識(shí)別。實(shí)驗(yàn)結(jié)果表明，基于模型融合的方法取得了最好的效果，識(shí)別性能相較于其它方法和基線系統(tǒng)有明顯的提升
　　本文提出基于遷移學(xué)習(xí)的環(huán)境聲音建模方法，堆疊去噪自編碼網(wǎng)絡(luò)(Stacked Denoised AutoEncoder,SDA)的無監(jiān)督訓(xùn)練較為簡(jiǎn)單，并能良好的學(xué)習(xí)數(shù)據(jù)集的特征，為其

5、和遷移學(xué)習(xí)的融合提供了良好的基礎(chǔ)。本文在遷移學(xué)習(xí)的框架下，結(jié)合SDA網(wǎng)絡(luò)，通過衡量新環(huán)境類別的語料與現(xiàn)有環(huán)境語料之間的關(guān)系實(shí)現(xiàn)識(shí)別模型的遷移，實(shí)驗(yàn)表明此方法能有效地區(qū)分新場(chǎng)景，準(zhǔn)確率有明顯提升。在遷移學(xué)習(xí)理論框架下，反觀DBN的預(yù)訓(xùn)練與微調(diào)過程，提出基于通用預(yù)訓(xùn)練的方法。該方法采用擴(kuò)大DBN預(yù)訓(xùn)練數(shù)據(jù)集規(guī)模的策略，達(dá)到待識(shí)別數(shù)據(jù)只需在此通用預(yù)訓(xùn)練基礎(chǔ)上進(jìn)行快速的微調(diào)過程即可實(shí)現(xiàn)分類的目的。實(shí)驗(yàn)結(jié)果表明，此方法可以顯著的提升待識(shí)別數(shù)據(jù)的性