基于停用詞處理的漢語語音檢索方法.pdf

1、隨著互聯(lián)網(wǎng)和多媒體技術(shù)的發(fā)展，語音資料的數(shù)量迅速膨脹。快速有效地進(jìn)行語音資料的檢索變得越來越重要。語音檢索作為語音識別研究中的一個新領(lǐng)域，其目的是在大量語音資源中搜索與用戶給出的查詢詞（Query）相關(guān)聯(lián)的語音段。它通過事先為語音資源建立索引，從而實現(xiàn)了基于語義內(nèi)容的快速搜索。
　　本文的主要工作是研究漢語語音檢索系統(tǒng)的性能優(yōu)化策略。
　　針對語音資料中大量出現(xiàn)的停用詞問題，本文引入了停用詞處理技術(shù)。停用詞被定義為在文檔中出

2、現(xiàn)頻率很高，但是對實際的檢索沒有幫助的詞。引入與檢索內(nèi)容無關(guān)的停用詞，對于信息相關(guān)性的計算精度必然產(chǎn)生負(fù)面影響，從而制約檢索的精度。由于語音檢索的特殊性，本文采用左右熵的方法來進(jìn)行停用詞的選擇。給出了停用詞的選擇算法，通過比較左右熵方法和詞頻方法可以看出，左右熵方法得到的停用詞效果更好，更能反映上下文的情況。
　　應(yīng)用所提出的方法，本文給出完整的語音檢索在線部分處理過程，包括利用音節(jié)Lattice建立索引，利用向量空間模型進(jìn)行查詢

3、詞和語音文檔之間相似度的計算，最后根據(jù)相似度對查詢結(jié)果排序，從而給出用戶的查詢結(jié)果。每個語音文檔都由一個特征向量來表示，特征向量中的每個分量從語音文檔對應(yīng)的lattice中提取。通過搜索每個lattice，從中提取所有音節(jié)和相鄰音節(jié)對的聲學(xué)分來形成語音文檔的特征向量。由于語音識別的不準(zhǔn)確性以及漢語中一音多字現(xiàn)象的存在，本文提出對特征向量中出現(xiàn)的停用詞音節(jié)序列加入懲罰因子，以降低其在特征向量中的權(quán)重。通過試驗比較，懲罰因子取值為0.1。在