中文地名識別研究.pdf

1、命名實(shí)體識別是自然語言處理技術(shù)中一項(xiàng)關(guān)鍵而基礎(chǔ)的任務(wù)，中文地名是命名實(shí)體的一個(gè)重要組成部分，且中文地名的特點(diǎn)比較復(fù)雜多樣，構(gòu)成比較隨意，導(dǎo)致中文地名識別成為自然語言處理中一個(gè)難以解決的任務(wù)。本文主要對中文地名的識別進(jìn)行研究，采用條件隨機(jī)場(Conditional RandomFields，CRF)模型來實(shí)現(xiàn)對中文地名的識別。
　　 本文首先概述了命名實(shí)體識別及其中文地名識別的概念、研究背景、國內(nèi)外研究現(xiàn)狀，并對現(xiàn)有的方法進(jìn)行了研

2、究和分析。通過對目前主流方法的學(xué)習(xí)，決定采用條件隨機(jī)場對地名進(jìn)行識別。條件隨機(jī)場是目前性能較好的模型之一，它既不受到隱馬爾科夫模型中的獨(dú)立性假設(shè)的限制，又不存在最大熵模型中的標(biāo)記偏置問題，是一種優(yōu)秀的統(tǒng)計(jì)學(xué)習(xí)方法。
　　 中文地名的識別可以轉(zhuǎn)化為對序列進(jìn)行標(biāo)注，因此訓(xùn)練集和測試集的正確標(biāo)注直接影響了識別性能。現(xiàn)有的識別模型在對語料進(jìn)行分詞時(shí)，大多采用ICTCLAS系統(tǒng)，由于該系統(tǒng)存在一些地名分詞錯(cuò)誤，降低了整體的識別性能。針對上

3、述問題，本文建立了地名詞典，將其添加入ICTCLAS系統(tǒng)的用戶詞典，從而保證地名分詞的正確性。
　　 條件隨機(jī)場雖然是很優(yōu)秀的機(jī)器學(xué)習(xí)模型，但也存在收斂速度慢，訓(xùn)練時(shí)間長的缺點(diǎn)，因此選取合適而精煉的特征就尤其重要。本文在結(jié)合中文文本中地名的特點(diǎn)并且學(xué)習(xí)分析了前人的研究，通過實(shí)驗(yàn)篩選了更優(yōu)的特征，并且采用遞增式學(xué)習(xí)策略進(jìn)行特征模版的篩選，提高了條件隨機(jī)場的地名識別性能。
　　 實(shí)驗(yàn)結(jié)果表明本文提出的中文地名識別方法能夠獲得