基于多步處理策略的漢語自動分詞研究.pdf

1、自然語言處理是人工智能的一個重要分支。漢語自動分詞是中文自然語言處理的一項基礎性工作，也是中文信息處理的一個重要問題。漢語自動分詞系統(tǒng)是利用計算機對漢語文本進行詞語自動識別的系統(tǒng)，對其研究已經(jīng)取得了很多成果，但已有的系統(tǒng)還不能完全滿足實際應用的需要，有待繼續(xù)研究。 本文主要目標是設計并實現(xiàn)一個漢語自動分詞系統(tǒng)。在分析了自動分詞面臨的主要困難和難點的基礎上，旨在降低分詞難度和提高分詞精度，設計并實現(xiàn)了一個基于多步處理策略的漢語自動

2、分詞系統(tǒng)。論文的主要工作如下： 論文首先介紹了漢語自動分詞系統(tǒng)通常采用的語言模型和分詞算法，提出了基于詞性信息和規(guī)則相結(jié)合的時間語詞消歧算法。時間語詞包括時點語詞和時段語詞，特定類型時間語詞在切分時存在是時點還是時段的問題。本文提出的算法開放測試正確率約為90％，表明了該算法的有效性。 其次搜集、整理和建立了研究所用的自然語言資源。主要包括人工切分標注語料的搜集、加工和整理，生語料的搜集及加工，分詞詞典和為分詞提供決策依

3、據(jù)知識的分詞知識庫的建立。還對文本中的非漢字字符、漢字數(shù)字串歸并進行了探索。 論文的核心工作是設計并實現(xiàn)了一個基于多步處理策略的漢語自動分詞系統(tǒng)。系統(tǒng)包括初切分，詞性標注、歧義字段處理、模型平滑、未登錄詞識別等功能模塊。初切分是找出待切分語句各種可能路徑；歧義字段處理包含利用詞的二元模型或分詞詞性標注一體化模型處理交集型歧義，利用支持向量機理論處理組合型歧義；未登錄詞識別已實現(xiàn)的功能是利用詞性探測法識別中文姓名；模型平滑技術體現(xiàn)