基于統(tǒng)計(jì)的搜索引擎中文輸入糾錯(cuò)技術(shù)研究.pdf

1、在已經(jīng)到來的Web2.0時(shí)代，搜索引擎在互聯(lián)網(wǎng)上扮演了越來越重要的角色，而日益增多并且成熟的互聯(lián)網(wǎng)用戶對(duì)搜索引擎的要求也越來越高，其功能也在不斷豐富和完善當(dāng)中，輸入自動(dòng)檢查糾錯(cuò)功能就是一項(xiàng)非常重要的附加技術(shù)，并且已經(jīng)得到了較為廣泛的應(yīng)用和推廣。
　　 對(duì)于中文搜索引擎來說，輸入自動(dòng)檢查糾錯(cuò)功能是指，用戶在輸入關(guān)鍵詞進(jìn)行搜索之后，如果搜索引擎在返回結(jié)果中計(jì)算出與此關(guān)鍵詞相似的另一形式（如詞組中出現(xiàn)同音不同字，或者某一錯(cuò)別字現(xiàn)象）得

2、到大量的搜索結(jié)果，用戶將會(huì)在搜索結(jié)果頁面看到系統(tǒng)提供的推測(cè)到的關(guān)鍵詞項(xiàng)。
　　 針對(duì)以上問題，首次將一種完全通過分析上下文統(tǒng)計(jì)信息的方法引入搜索引擎的輸入糾錯(cuò)技術(shù)中（未見文獻(xiàn)報(bào)道），根據(jù)中文語言的特點(diǎn)，對(duì)中文語料庫建立了N-gram統(tǒng)計(jì)語言模型，并且對(duì)其進(jìn)行了詳細(xì)的分析，確定了語言模型所必需的參數(shù)，以及對(duì)其進(jìn)行了優(yōu)化處理，使其更加接近真實(shí)情況下的語言。研究中引入了TF/IDF權(quán)重計(jì)算方法，將初步統(tǒng)計(jì)語言模型得出的糾錯(cuò)檢查結(jié)果再次