無(wú)標(biāo)注的中文長(zhǎng)篇幅語(yǔ)音文語(yǔ)對(duì)齊的研究.pdf

1、文語(yǔ)對(duì)齊(Text-Speech Alignment)是以語(yǔ)音識(shí)別系統(tǒng)為基礎(chǔ),對(duì)語(yǔ)音和文本在時(shí)間上進(jìn)行強(qiáng)制對(duì)齊的過(guò)程。近年來(lái),隨著互聯(lián)網(wǎng)的高速發(fā)展,網(wǎng)絡(luò)上的語(yǔ)音和文本資源也越來(lái)越多,將該部分語(yǔ)音和文本在時(shí)間上進(jìn)行對(duì)齊是利用該資源的關(guān)鍵,因此文語(yǔ)對(duì)齊問(wèn)題引起了越來(lái)越多研究人員的興趣。文語(yǔ)對(duì)齊技術(shù)是語(yǔ)音識(shí)別領(lǐng)域中的一項(xiàng)關(guān)鍵技術(shù)。傳統(tǒng)的方法是首先利用語(yǔ)音識(shí)別器對(duì)原始的語(yǔ)音進(jìn)行識(shí)別,以得到包含時(shí)間信息的識(shí)別文本,并將該文本與原始文本進(jìn)行對(duì)齊,以

2、得到兩者共同的部分。也就是將文本和語(yǔ)音對(duì)齊的問(wèn)題轉(zhuǎn)換成文本與文本的對(duì)齊問(wèn)題。經(jīng)過(guò)對(duì)齊后的語(yǔ)音和文本數(shù)據(jù)可用于聲學(xué)模型的訓(xùn)練、語(yǔ)音的評(píng)價(jià)、自動(dòng)構(gòu)建語(yǔ)料庫(kù)、多媒體檢索等領(lǐng)域。為了提高文語(yǔ)對(duì)齊的準(zhǔn)確率和魯棒性,通常需要以經(jīng)過(guò)大量有標(biāo)注數(shù)據(jù)訓(xùn)練的語(yǔ)音識(shí)別器為基礎(chǔ)。然而,為了得到有標(biāo)注的訓(xùn)練數(shù)據(jù)往往需要耗費(fèi)大量的財(cái)力、人力和物力,同時(shí)所需要的周期也相對(duì)較長(zhǎng),成本較高。
　　本文在論述國(guó)內(nèi)外文語(yǔ)對(duì)齊技術(shù)發(fā)展的基礎(chǔ)上,提出了一種不依賴于有標(biāo)注數(shù)

3、據(jù)訓(xùn)練的語(yǔ)音識(shí)別器的文語(yǔ)對(duì)齊算法。利用該算法可以自動(dòng)的得到語(yǔ)音和文本在時(shí)間上對(duì)齊的數(shù)據(jù),并利用得到的數(shù)據(jù)訓(xùn)練了一個(gè)基于三音素的連續(xù)語(yǔ)音識(shí)別器,以說(shuō)明該算法在實(shí)際中的應(yīng)用。首先,為了擺脫對(duì)有標(biāo)注訓(xùn)練數(shù)據(jù)的依賴,提出了一種基于開放語(yǔ)音識(shí)別引擎(Google Voice Recognition,GVR)和有限狀態(tài)機(jī)語(yǔ)言模型的文語(yǔ)對(duì)齊算法,利用該算法能夠自動(dòng)的得到在時(shí)間上對(duì)齊的語(yǔ)音和文本數(shù)據(jù),具體來(lái)說(shuō),首先是將原始的語(yǔ)音提交給 GVR進(jìn)行識(shí)別,

4、以得到識(shí)別的結(jié)果文件。但是由GVR返回的結(jié)果文件中并不包含時(shí)間信息,而該時(shí)間信息是進(jìn)行文語(yǔ)對(duì)齊的關(guān)鍵。為了得到該時(shí)間信息,接著對(duì)原始的語(yǔ)音和文本進(jìn)行了第二次的識(shí)別。即利用由原始的語(yǔ)音和文本訓(xùn)練的識(shí)別器作為聲學(xué)模型,并結(jié)合基于有限狀態(tài)機(jī)的語(yǔ)言模型對(duì)語(yǔ)音進(jìn)行了重識(shí)別,以得到所需要的時(shí)間信息,完成文本和語(yǔ)音的對(duì)齊。利用得到的對(duì)齊語(yǔ)音和文本數(shù)據(jù)訓(xùn)練一個(gè)聲學(xué)模型,并以該模型為核心,結(jié)合并改進(jìn)了SailAlign算法來(lái)對(duì)文本和語(yǔ)音進(jìn)行高效的、迭代的