拼寫(xiě)校正技術(shù)在信息檢索和文本處理領(lǐng)域的應(yīng)用.pdf

1、拼寫(xiě)校正是自然語(yǔ)言處理領(lǐng)域研究的一個(gè)熱點(diǎn)。隨著信息檢索和文本處理系統(tǒng)的大規(guī)模應(yīng)用，人工輸入的文檔中不可避免地包含拼寫(xiě)錯(cuò)誤。對(duì)用戶輸入到搜索引擎中的查詢或包含錯(cuò)誤拼寫(xiě)的文檔的處理會(huì)帶來(lái)計(jì)算機(jī)資源和用戶時(shí)間的極大浪費(fèi)。 在針對(duì)拼寫(xiě)校正技術(shù)的廣泛和深入調(diào)查的基礎(chǔ)上，我們比較了拼寫(xiě)校正技術(shù)在輔助信息檢索和文本處理應(yīng)用更正拼寫(xiě)錯(cuò)誤的異同，分別為這兩個(gè)領(lǐng)域設(shè)計(jì)并實(shí)現(xiàn)了系統(tǒng)。在信息檢索領(lǐng)域，在對(duì)海量網(wǎng)頁(yè)查詢?nèi)罩痉治龅幕A(chǔ)上，我們發(fā)現(xiàn)錯(cuò)誤拼寫(xiě)詞

2、與其正確拼寫(xiě)建議往往在相同或者類似的上下文中出現(xiàn)，而與其他拼寫(xiě)相近的候選建議極少出現(xiàn)甚至不出現(xiàn)。我們使用分布式相似度指標(biāo)對(duì)這種上下文相似性進(jìn)行度量?；谶@個(gè)發(fā)現(xiàn)，我們首先采用了噪音信道模型，用分布式相似度對(duì)其錯(cuò)誤模型進(jìn)行了改進(jìn)；我們還將分布式相似度作為一個(gè)特征用于最大熵判別模型中，結(jié)合編輯距離、發(fā)音相似度、語(yǔ)言模型等基本特征。在實(shí)驗(yàn)中我們比較了噪音信道和最大熵模型的性能。 為更正文本處理應(yīng)用中的拼寫(xiě)錯(cuò)誤，我們提出了一種新的基于判

3、別式重排序拼寫(xiě)校正方法，第一次將拼寫(xiě)校正問(wèn)題歸結(jié)為一個(gè)排序問(wèn)題，比較了傳統(tǒng)上歸結(jié)為分類問(wèn)題的優(yōu)劣。該方法針對(duì)已有拼寫(xiě)校正系統(tǒng)(GNU Aspell)的輸出進(jìn)行重排序，使用判別式模型Ranking SVM來(lái)改進(jìn)它的性能。它將現(xiàn)今較為成熟的拼寫(xiě)校正技術(shù)以特征的形式整合到這個(gè)模型中來(lái)，顯著地提高了基準(zhǔn)系統(tǒng)Aspell的初始排序質(zhì)量，同時(shí)也超過(guò)了一些商用系統(tǒng)(如Microsoft Word 2003)的拼寫(xiě)校正模塊。此外，針對(duì)模型學(xué)習(xí)標(biāo)注訓(xùn)練對(duì)