中文名實(shí)體識(shí)別與新詞發(fā)現(xiàn)技術(shù)研究.pdf

1、名實(shí)體及新詞是能夠準(zhǔn)確反映文本內(nèi)容的基本信息元素，是正確理解文本的基礎(chǔ)。名實(shí)體識(shí)別及新詞發(fā)現(xiàn)技術(shù)廣泛應(yīng)用于諸多自然語(yǔ)言處理任務(wù)中，如信息檢索、機(jī)器翻譯、文本分類以及自動(dòng)文摘等，所以名實(shí)體識(shí)別及新詞發(fā)現(xiàn)的研究成果必將推動(dòng)自然語(yǔ)言處理領(lǐng)域的相關(guān)研究。本文主要對(duì)中文名實(shí)體識(shí)別及新詞發(fā)現(xiàn)進(jìn)行了研究，具體的研究?jī)?nèi)容主要包括以下幾個(gè)方面：
　　1.針對(duì)當(dāng)前名實(shí)體識(shí)別中識(shí)別效率低下，實(shí)用性不高以及對(duì)復(fù)雜名實(shí)體識(shí)別效果差的問題，本文根據(jù)中文名實(shí)體

2、具有嵌套的特點(diǎn)，利用層次隱馬爾科夫模型來(lái)分別對(duì)簡(jiǎn)單地名、人名；地名簡(jiǎn)稱；復(fù)雜地名、機(jī)構(gòu)名分層進(jìn)行識(shí)別。在識(shí)別過程中自行設(shè)計(jì)了粗切分方法，在粗分的基礎(chǔ)上利用自行設(shè)計(jì)的標(biāo)記集來(lái)分層標(biāo)注，最終識(shí)別出想要的名實(shí)體。在每一層利用N-best思想，輸出N個(gè)結(jié)果給下一層，以求找到最優(yōu)的解。
　　2.針對(duì)層次隱馬爾科夫模型中數(shù)據(jù)稀疏以及系統(tǒng)移植性差的問題，在上面的分層處理結(jié)束后我們利用改進(jìn)的基于轉(zhuǎn)換的學(xué)習(xí)方法作為后處理技術(shù)來(lái)自行改進(jìn)識(shí)別效果。由于

3、對(duì)TBL學(xué)習(xí)到的規(guī)則進(jìn)行了優(yōu)化，目前的后處理具有較好的效率。在2004年863標(biāo)準(zhǔn)測(cè)試集上進(jìn)行了開放測(cè)試，測(cè)試結(jié)果的F值達(dá)到83％。
　　3.針對(duì)當(dāng)前新詞發(fā)現(xiàn)中新詞長(zhǎng)度受限、領(lǐng)域受限以及對(duì)發(fā)現(xiàn)的正確新詞不能優(yōu)先排序等問題，本文利用統(tǒng)計(jì)與規(guī)則相結(jié)合的策略來(lái)進(jìn)行新詞發(fā)現(xiàn)。利用重復(fù)串頻度查找來(lái)構(gòu)建新詞候選集；然后利用停用詞集、停用詞性集、頭部停用詞性集、尾部停用詞性集、有限窗口過濾等技術(shù)來(lái)進(jìn)行垃圾串濾除。對(duì)于得到的新詞集，本文使用基于頻