基于條件隨機場的中文分詞消歧研究.pdf

1、隨著信息時代的到來,自然語言處理技術(shù)被廣泛地應(yīng)用在生活的各個方面。中文分詞技術(shù)是自然語言處理領(lǐng)域的一個基礎(chǔ)性課題,通過中文分詞技術(shù),計算機能夠處理人類的自然語言。歧義切分是中文分詞技術(shù)中的難點之一。歧義主要分為三大類:交集型歧義、組合型歧義和混合型歧義。解決歧義切分的方法主要有三大類:基于詞典與規(guī)則的方法、基于統(tǒng)計的方法和混合方法。
　　中文分詞是自然語言處理領(lǐng)域中其它任務(wù)的基礎(chǔ)性工作,所以歧義切分效果的好壞至關(guān)重要。目前分詞問題

2、歧義處理使用的模型算法有很多,例如隱馬爾可夫模型、最大熵模型,但是這些方法都存在著一定的不足,實際應(yīng)用的效果較差。條件隨機場對所有特征實現(xiàn)全局歸一化,可以利用長距離的特征,不存在標記偏置的缺點。因此,本文重點研究基于條件隨機場模型處理中文分詞的歧義問題。
　　本文所做的主要工作如下:
　　(1)介紹了中文分詞的基本理論和基本方法。雙向最大匹配算法是中文分詞技術(shù)的基礎(chǔ)工作,可以實現(xiàn)對文本的初步切分,影響其他后續(xù)任務(wù)的實際效果。

3、隱馬爾可夫模型和最大熵模型是被廣泛應(yīng)用于實際工作的基于統(tǒng)計的分詞技術(shù),該類方法具有較高的實用性。數(shù)據(jù)平滑技術(shù)主要分析了加法平滑方法、古德-圖靈估計方法和Katz平滑方法。
　　(2)分析了條件隨機場的理論,利用條件隨機場的特征選擇算法以適應(yīng)切分消歧的要求。利用條件隨機場的無向圖模型特性將文本進行有效的標注,根據(jù)實際需求設(shè)計特定的特征模板,對文本進行有效的切分處理。
　　(3)研究歧義字段的特征模板的構(gòu)建,并且利用構(gòu)建的特征模