中文命名實(shí)體識(shí)別粒度和特征選擇研究.pdf

1、本課題來(lái)源于國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目——國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目“融合語(yǔ)言知識(shí)與統(tǒng)計(jì)模型的機(jī)器翻譯方法研究”（60736014）、國(guó)家863計(jì)劃重點(diǎn)項(xiàng)目“面向跨語(yǔ)言搜索的機(jī)器翻譯關(guān)鍵技術(shù)研究”（2006AA010108）、微軟亞洲研究院IFP（FY09-RES-THEME-158）。
　　命名實(shí)體識(shí)別是眾多自然語(yǔ)言處理的基礎(chǔ)，近些年來(lái)有很多學(xué)者對(duì)命名實(shí)體任務(wù)進(jìn)行研究。大體上，命名實(shí)體的識(shí)別過(guò)程分為兩大類，規(guī)則與統(tǒng)計(jì)。對(duì)于不同的命名

2、實(shí)體類別，如人名、地名、機(jī)構(gòu)名等，分析其固有的規(guī)律，國(guó)內(nèi)外學(xué)者也做了大量的研究，發(fā)現(xiàn)了很多針對(duì)性強(qiáng)的特征，并取得了很好的效果。
　　本論文嘗試回答中文命名實(shí)體識(shí)別中的兩個(gè)問(wèn)題：
　　1.怎樣選擇中文命名實(shí)體識(shí)別的粒度，以字還是以詞作為處理單位？
　　2.對(duì)不同類別的中文命名實(shí)體，什么樣的特征或者特征組合最有效？
　　本文首先將中文命名實(shí)體識(shí)別轉(zhuǎn)化為序列標(biāo)注問(wèn)題。理論上講，一切可
　　以用于序列標(biāo)注問(wèn)題的機(jī)器

3、學(xué)習(xí)模型，都能夠用于命名實(shí)體識(shí)別，在本論文實(shí)驗(yàn)選擇的是近幾年來(lái)應(yīng)用比較廣泛的條件隨機(jī)域模型。條件隨機(jī)域模型是一個(gè)典型的判別式模型，能避免嚴(yán)格的獨(dú)立性假設(shè)，也能綜合利用生成模型中生成的假設(shè)，因此，判別式模型能融合大量的特征，比如語(yǔ)言學(xué)特征，從而更適用于序列標(biāo)注。同時(shí)，我們不僅用到了同一個(gè)句子中的局部特征，也綜合利用了從整個(gè)語(yǔ)料中提取處的全局知識(shí)特征。
　　本文的主要研究?jī)?nèi)容包括如下三個(gè)部分：
　　1.命名實(shí)體識(shí)別的顆粒度研究。

4、本論文使用了兩種顆粒度，基于字和基于詞。通過(guò)特征模板實(shí)驗(yàn)，對(duì)于基于字和基于詞的方法，分別選取了3個(gè)字和2個(gè)詞的特征模板區(qū)間。通過(guò)驗(yàn)證可以發(fā)現(xiàn)，人名、地名因其顆粒度較小，用基于字的方法能取得更好的結(jié)果；機(jī)構(gòu)名因其顆粒度較大，用基于詞的方法能取得更好的結(jié)果。
　　2.先驗(yàn)知識(shí)庫(kù)的構(gòu)建。通過(guò)加入先驗(yàn)知識(shí)庫(kù)，能從全局的范圍提取特征，從而能極大的提高命名實(shí)體識(shí)別的性能。根據(jù)實(shí)驗(yàn)，形成了姓氏庫(kù)、人名庫(kù)、地名庫(kù)、左指界詞庫(kù)、右指界詞庫(kù)、地名后綴