基于詞的屬性的消歧與統(tǒng)計分析的研究.pdf

1、隨著網絡的發(fā)展，數(shù)字化信息迅速增加，人們對中文信息的處理也越來越關注，同時，現(xiàn)代漢語信息的處理和研究也顯得尤為重要，計算機自動分詞是現(xiàn)代漢語信息處理的重要組成部分，也是基礎的工作。衡量一個分詞算法或分詞系統(tǒng)的優(yōu)劣主要在于分詞的正確率和速度。其中，分詞的正確率尤為重要。我們認為影響分詞正確率的因素有兩個：(1)歧義切分問題；(2)漢語姓名、地名、機關名等專有名詞。對于詞庫的分詞方法而言，影響分詞的速度主要因素在于：（1)詞庫的規(guī)模和結構；

2、（2)匹配選詞的實現(xiàn)技術。因此，選擇一個適當?shù)姆衷~方法，并用必要的手段解決切分難點是提高分詞系統(tǒng)正確率和分詞速度的關鍵。常用的分詞方法主要有機械匹配法，如最大匹配法、逐詞匹配法等等；語義分詞法，如綜合匹配法、語法分析法等。 首先對語料庫的建立進行介紹，用到的語料主要來自人民日報語料庫，由于在進行歧義消除的時候需要用到詞的屬性，所以在建立語料庫的物理庫時需要對詞性進行標注。要建立一個基礎詞庫，即所有的語料都會存儲在基礎詞庫中，消除

3、歧義的過程中用到的屬性詞庫有：名詞、形容詞、副詞、動詞、介詞、連詞、數(shù)量詞、方位詞等。另外在分詞過程中還用到了臨時詞庫，增加臨時詞庫主要為了提高分詞效率。又對現(xiàn)有的分詞方法和消除歧義的方法做了介紹，列舉出當前比較流行的分詞方法和消除歧義的方法，然后詳細說明了本文的實現(xiàn)方法，采用的是正向增字最大匹配和逆向減字最大匹配相結合的方法。因為增字過程可以獲得很多信息，特別是字段的結構信息，對于知識處理有利。而減字最大匹配是由長到短依次進行的，見到

4、詞的字段即切分出來，對于切分比較長的詞有利，為后續(xù)的知識提供整體信息。用這兩種方法相結合，對于長詞和短詞都可以切分出來。對于出現(xiàn)歧義的情況再進行消除，在解決歧義的問題上，采用的解決交集型歧義的方法是根據(jù)詞的屬性，利用詞法搭配規(guī)則進行消除歧義，對于組合型歧義我們對各種經常出現(xiàn)的詞性分別做了相應的解決辦法，如果這些方法未能生效，則采用統(tǒng)計分析的方法進行處理，即將文章中任意個數(shù)的字(小于等于規(guī)定最長詞長L)同時出現(xiàn)的頻率進行統(tǒng)計，出現(xiàn)次數(shù)越高