規(guī)則與統(tǒng)計相結合的中文分詞方法研究.pdf

1、隨著信息時代的到來，計算機在人們生產(chǎn)生活的各個方面作用越來越突顯。目前，在機器翻譯、語音識別、信息檢索等許多領域對語料庫的使用越來越多，要求也越來越高，對語料庫進行分詞成為建立漢語語料庫資源的首要任務。隨著中文信息處理研究的深入，中文文本自動分詞問題已經(jīng)引起相當程度的重視，成為中文信息處理的一個前沿課題。經(jīng)過幾十年的研究，中文文本自動分詞技術取得了令人矚目的成果，出現(xiàn)了一些實用的自動分詞系統(tǒng)，這些分詞系統(tǒng)在分詞的精確度和分詞速度方面都具

2、有相當水平，但無論按照人的智力標準，還是同實用的需要相比較，還有一定的差距。
　　在本文中，我們以加工后的訓練語料為研究對象，提出了一種規(guī)則與統(tǒng)計相結合的中文分詞方法。該方法根據(jù)中文分詞中所遇到的問題，對其進行歸類并利用規(guī)則與統(tǒng)計相結合的思想對分詞結果進行逐步的優(yōu)化，最終達到一個較理想的結果。主要的研究內(nèi)容有以下幾方面:
　　1.通過對大量訓練語料的統(tǒng)計與分析，建立歧義字段資源庫，深入分析了歧義字段的內(nèi)部特征和上下文環(huán)境特征

3、，為解決歧義字段問題建立了語言學基礎。對訓練語料中所出現(xiàn)的歧義字段進行真?zhèn)纹缌x分析，建立相應的真歧義庫和偽歧義庫。
　　2.統(tǒng)計并分析真歧義與偽歧義各自不同的語言現(xiàn)象和規(guī)律，對其進行進一步的分類，為歧義字段的處理策略提供依據(jù)，進而為概率模型的建立提供支持。此外，在概率模型的建立過程中，使用了《同義詞詞林》作為語義資源，對歧義字段的上下文環(huán)境進行了語義擴充。
　　3.通過對海量真實語料的分析和統(tǒng)計，提取其中所出現(xiàn)的未登錄詞，充

4、分考慮未登錄詞的內(nèi)部結構，抽取和統(tǒng)計未登錄詞的內(nèi)部信息，建立了未登錄詞資源庫，并利用內(nèi)部信息建立未登錄識別的概率模型。
　　4.通過對未登錄詞的上下文環(huán)境信息的分析，提取未登錄詞識別的實用規(guī)則，建立未登錄詞識別的規(guī)則庫，進而提高概率模型的識別效果。
　　我們通過對微軟亞洲研究院2005年提供的SIGHAN簡體中文語料庫(MSR)的400萬語料進行模型的訓練和檢測，發(fā)現(xiàn)該策略在歧義字段的處理上有較好的效果。為了進一步檢驗規(guī)則與