中文機(jī)構(gòu)名識(shí)別的研究.pdf

1、中文命名實(shí)體識(shí)別是中文信息處理任務(wù)的前提和基礎(chǔ)，其中機(jī)構(gòu)名占有相當(dāng)大的比重，而且是最難識(shí)別的一部分，其識(shí)別精度還遠(yuǎn)遠(yuǎn)達(dá)不到實(shí)際應(yīng)用的需要。本文詳細(xì)研究了中文機(jī)構(gòu)名的識(shí)別方法，并實(shí)現(xiàn)了一個(gè)有效的中文機(jī)構(gòu)名識(shí)別系統(tǒng)。 本文將中文機(jī)構(gòu)名分為簡單機(jī)構(gòu)名和復(fù)雜機(jī)構(gòu)名，其中簡單機(jī)構(gòu)名僅由一個(gè)詞組成，結(jié)構(gòu)簡單，而復(fù)雜機(jī)構(gòu)名則由多個(gè)詞組成，結(jié)構(gòu)相對(duì)復(fù)雜。根據(jù)兩類機(jī)構(gòu)名不同的結(jié)構(gòu)特點(diǎn)采用不同的方法進(jìn)行識(shí)別。 復(fù)雜機(jī)構(gòu)名中經(jīng)常嵌套包含簡單機(jī)

2、構(gòu)名，因此采用一個(gè)雙層模型進(jìn)行識(shí)別。首先在低層采用條件隨機(jī)場(chǎng)模型(Conditional Random Fields，CRF)識(shí)別簡單機(jī)構(gòu)名，CRF可以使用更復(fù)雜的特征進(jìn)行訓(xùn)練和推理，它不但能夠充分利用上下文信息作為特征，還可以任意添加其他的外部特征，是目前最優(yōu)秀的序列標(biāo)注模型之一。實(shí)驗(yàn)證明，采用CRF識(shí)別簡單機(jī)構(gòu)名能夠獲得較好的性能;然后將低層的識(shí)別結(jié)果傳至高層，輔助進(jìn)行復(fù)雜機(jī)構(gòu)名的識(shí)別，最后將兩層的識(shí)別結(jié)果進(jìn)行合并。本文采用兩種方法

3、識(shí)別復(fù)雜機(jī)構(gòu)名： 一種是支持向量機(jī)(Support Vector Machine,SVM)和CRF相結(jié)合的方法。即根據(jù)復(fù)雜機(jī)構(gòu)名的結(jié)構(gòu)特點(diǎn)，將識(shí)別分為右邊界識(shí)別和前部標(biāo)注，對(duì)文本中出現(xiàn)在特征詞表中的詞，采用SVM判斷其是否是機(jī)構(gòu)名的右邊界，對(duì)確定為右邊界的詞向前采用CRF進(jìn)行標(biāo)注，也就是尋找機(jī)構(gòu)名左邊界的過程。在前部標(biāo)注的過程中加入了候選詞的策略，在一定程度上提高了識(shí)別精度。 另一種是CRF和可信度模型相結(jié)合的方法。首先

4、建立特征詞可信度模型和前部詞可信度模型，然后針對(duì)文本中的每個(gè)詞分別計(jì)算其可信度的大小，并將可信度信息加入到CRF中進(jìn)行學(xué)習(xí)，最終獲得識(shí)別模型。 最后對(duì)機(jī)構(gòu)名簡稱和兼類機(jī)構(gòu)名進(jìn)行詳細(xì)的分析。該類機(jī)構(gòu)名的識(shí)別涉及到語義層次，單純采用統(tǒng)計(jì)方法無法有效的進(jìn)行識(shí)別，本文根據(jù)它們不同的結(jié)構(gòu)特點(diǎn)，制定了有效的規(guī)則進(jìn)行初步的識(shí)別。 實(shí)驗(yàn)證明本文的識(shí)別方法是有效的，針對(duì)北大版語料的開式精確率、召回率和F值分別為94.83％，95.02％和