雙字低頻未登錄詞識別研究.pdf

1、未登錄詞是影響中文自動分詞精度的最主要原因，低頻詞是未登錄詞識別的難點，而雙字低頻未登錄詞又是低頻未登錄詞的重要組成。所以，文章著重研究如何高效識別雙字低頻未登錄詞，選用多種統(tǒng)計和規(guī)則相結(jié)合的方法，取得了一定的效果。
　　在識別低頻雙字未登錄詞的過程中，為了提高識別效率并對實驗結(jié)果進行有效統(tǒng)計研究，進行前期處理，主要分為三步：一、分詞并提取分詞碎片。二、識別未登錄詞中的重要組成--命名實體。三、識別部分多字未登錄詞。之后在所剩碎片

2、中判別低頻雙字未登錄詞，采用了多種統(tǒng)計與規(guī)則相結(jié)合的辦法，有互信息、成詞非詞概率、鄰字熵、素性組合。雖然實驗結(jié)果一般，但在輔助識別、提取新詞上依然具有實用的價值，可以為人工識別減輕大量負擔。在識別過程中發(fā)現(xiàn)，詞定義的模糊性、語料中分詞不一致是雙字未登錄詞難以正確識別的重要原因，因此，對此進行了深入的研究，提出了對雙字詞的新的合理定義。之后，自己標注了小型的測試語料，在同樣的識別方法下，正確率和召回率都有較大提高。最后還提出并實現(xiàn)了一種基