基于混淆網(wǎng)絡(luò)的漢語語音檢索技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)和多媒體技術(shù)的快速發(fā)展,每天都會涌現(xiàn)海量的音頻文件,如何對這些語音文檔進(jìn)行有效地檢索和分類成為信息處理領(lǐng)域中的一個(gè)熱點(diǎn)問題。目前語音檢索技術(shù)的研究主要是基于統(tǒng)計(jì)模式識別的基礎(chǔ)理論,對連續(xù)語音信號的處理從聲學(xué)層和語言層兩個(gè)方面進(jìn)行考慮。網(wǎng)格技術(shù)作為一種新興的信息檢索技術(shù),其結(jié)構(gòu)恰好能夠描述這兩方面的內(nèi)容。它是以文本的形式把檢索過程中得到的多個(gè)候選結(jié)果保留下來,特別適合用于與任務(wù)無關(guān)的語音文檔檢索中。對網(wǎng)格進(jìn)行剪枝后得到的混淆網(wǎng)絡(luò)

2、,在結(jié)構(gòu)上更為緊湊,能夠提高識別的準(zhǔn)確率。因此把網(wǎng)格作為一個(gè)語音檢索系統(tǒng)的輸入是非常有前景的,基于網(wǎng)格和混淆網(wǎng)絡(luò)的語音檢索技術(shù)正受到越來越多的重視。
　　 網(wǎng)格的建立和查詢搜索階段的索引策略構(gòu)成了語音檢索技術(shù)中兩個(gè)重要的組成部分。本論文首先針對語音信號檢索中混淆網(wǎng)絡(luò)的生成、檢索過程中的搜索策略以及置信度的計(jì)算等方面的問題進(jìn)行了研究。之后重點(diǎn)討論了如何在混淆網(wǎng)絡(luò)中進(jìn)一步豐富聲學(xué)層面以及語言學(xué)層面的信息,提出了在聲學(xué)模型中附加聲調(diào)信

3、息模型和在語言模型中附加韻律信息模型的方法。論文所做工作主要集中在以下幾個(gè)方面:
　　 首先,由于在低信噪比環(huán)境下,連續(xù)語音信號分割效果不理想,因此提出了一種基于投票選擇機(jī)制的連續(xù)語音信號分割方法。該方法對幾種不同的分割結(jié)果進(jìn)行投票選擇,以提高語音分割的準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明,該方法在低信噪比條件下對語音信號的分割結(jié)果更接近人工標(biāo)注的分割結(jié)果。
　　 其次,針對基于網(wǎng)格結(jié)構(gòu)的語音檢索技術(shù),提出了基于樞紐路徑的混淆網(wǎng)絡(luò)生成方

4、法,在不降低檢索性能的前提下,使網(wǎng)格結(jié)構(gòu)更為緊湊,縮減了索引尺寸,并且使附加信息更加豐富。同時(shí)針對搜索策略提出了改進(jìn)的DMLS方法,在檢索過程中用最小編輯距離來補(bǔ)償音節(jié)識別器中的插入、刪除、替代等錯(cuò)誤。另外,針對語音檢索中置信度的計(jì)算問題,提出了以互信息量作為置信度的方法,并結(jié)合后驗(yàn)概率得到了一個(gè)全新的置信度。最后通過仿真實(shí)驗(yàn),驗(yàn)證了所提出方法的有效性。
　　 再次,為了使混淆網(wǎng)絡(luò)中的信息更加全面,從而提高語音檢索系統(tǒng)的整體性能

5、,提出將聲調(diào)模型融合到混淆網(wǎng)絡(luò)中。并且用聲調(diào)核子代替全音節(jié)進(jìn)行聲調(diào)特征的提取,在此基礎(chǔ)上建立了基于聲調(diào)核子的MSD-HMM聲調(diào)模型。將該模型與混淆網(wǎng)絡(luò)中原有聲學(xué)模型結(jié)合,在語言模型不變的情況下進(jìn)行了語音檢索實(shí)驗(yàn)。得到的仿真結(jié)果證明了聲調(diào)特征在語音檢索中作為輔助信息的有效性。
　　 最后,提出在混淆網(wǎng)絡(luò)中附加韻律學(xué)特征信息,來提高語音檢索的性能。先針對韻律事件的檢測問題進(jìn)行了研究,分別利用聲學(xué)特征、詞匯特征和句法特征進(jìn)行韻律事件的

6、檢測。將建立起來的韻律模型融合到現(xiàn)有混淆網(wǎng)絡(luò)的聲學(xué)模型和語言模型中。進(jìn)行的語音檢索仿真實(shí)驗(yàn)表明,附加韻律事件特征有助于提高語音檢索的性能。
　　 綜上所述,本論文研究了基于混淆網(wǎng)絡(luò)的連續(xù)漢語語音的檢索問題,主要針對混淆網(wǎng)絡(luò)的生成和檢索階段的搜索策略進(jìn)行了改進(jìn)。提出了基于樞紐路徑的混淆網(wǎng)絡(luò)生成算法和基于改進(jìn)DMLS的檢索方法。另外,分別針對混淆網(wǎng)絡(luò)中的聲學(xué)模型和語言模型,采取附加特征信息的方法來提高語音檢索的性能。在聲學(xué)模型中結(jié)合