基于SilAlign的中文語音文語對齊的研究.pdf

1、文語對齊是以語音識別器為基礎，在時間上對語音和文本進行強制對齊的過程。文語對齊通常被應用在多媒體檢索和訓練一個大詞匯量的語音識別和合成系統(tǒng)。近年來網(wǎng)絡上可以獲取越來越豐富的音頻資源，促進了語音和文本對齊的大規(guī)模研究。例如有聲書本，多媒體文檔等。對這些語音和文本，采用傳統(tǒng)的基于維特比的強制對齊算法被證明對于文本和語音不匹配或者語音存在噪聲的情況存在不足。
　　為了使語音和文本能夠避開這些限制，使用語音識別器對原始的語音進行識別，從而

2、得到含有時間信息的識別文本，再把該文本與原始文本進行對齊，來得到兩者共同的部分。這樣就把語音和文本的對齊問題轉(zhuǎn)化成為文本和文本的對齊問題，后一種問題的解決方案通常要求的計算量要少得多。SailAlign這一開源工具就是基于這種語音和文本對齊方法。
　　本論文利用修改的SailAlign算法進行中文的文語對齊研究。在語音多于文本的情況下，我們進行了實驗，并對其結(jié)果進行分析。最后我們還實現(xiàn)了自動化的文語對齊。
　　本文的主要研究

3、工作如下:
　　首先，由于SailAlign算法不支持中文，所以我們修改了SailAlign的配置文件，并且添加了中文的語言模型和聲學模型，從而能夠使用SailAlign進行中文的文語對齊研究。聲學模型和語言模型是用大量的新聞聯(lián)播的語音和文本數(shù)據(jù)訓練得到的，使用SailAlign算法對語音和文本進行文語對齊的過程是迭代的和自適應的。通過實驗我們對SailAlign算法在語音多于文本的情況下進行文語對齊的正確率進行了分析和比較。實驗

4、表明，在語音多于文本的情況下，利用該算法得到的語音和文本進行對齊的正確率比較高。
　　接下來我們通過SailAlign算法進行文語對齊以后，然后再把對齊的語音和文本數(shù)據(jù)分割出來，就可以得到一一對應的語音和文本。為了節(jié)省時間，提高效率，我們把SailAlign文語對齊的整個過程用一個shell腳本實現(xiàn)自動化，整個過程都是在Linux這一個平臺下運行的。該自動化的文語對齊過程分為三個模塊，分別為文本和語音的預處理，SailAlign的