條件概率模型研究及其在中文名實(shí)體識別中的應(yīng)用.pdf

1、條件概率模型，又稱為判別式模型（Discriminative Model），是一類常用的模式識別方法，它相對于產(chǎn)生式模型有很多優(yōu)點(diǎn)。產(chǎn)生式模型早期被廣泛應(yīng)用到自然語言處理中，包括詞性標(biāo)注、邊界識別、名實(shí)體識別、句法分析等。從上世紀(jì)80年代后期開始，條件概率模型開始引起研究者們的注意，特別是在自然語言處理領(lǐng)域，由于條件概率模型更適合序列標(biāo)注以及可以使用豐富特征的特點(diǎn)，因此條件概率模型在諸多的應(yīng)用中，例如詞性標(biāo)注、名實(shí)體識別、組塊分析、中文

2、分詞等，其性能表現(xiàn)都超過了產(chǎn)生式模型。
　　本文主要針對最大熵模型和條件隨機(jī)域模型進(jìn)行了較深入的理論研究。同時討論了如何利用最大熵模型和條件隨機(jī)域模型進(jìn)行中文名實(shí)體識別，通常在名實(shí)體中，人名、地名、機(jī)構(gòu)名比較難以識別，而數(shù)字、日期、時間等類別采用基于規(guī)則的方法就可以很好的識別，因此本文的研究重點(diǎn)是針對前三種名實(shí)體的識別。具體研究內(nèi)容包括以下幾個方面：
　　第一，針對最大熵模型在對不完整樣本進(jìn)行分類時表現(xiàn)不好的問題，我們提出了

3、改進(jìn)原有模型中特征補(bǔ)償?shù)姆绞?。常用于?xùn)練最大熵模型參數(shù)的GIS（Generalized Iterative Scaling）算法要求必須滿足一個條件：每個事件對不同的輸出類別應(yīng)該包含相同數(shù)量的特征。針對這一要求，傳統(tǒng)的方法是采用一個全局唯一的補(bǔ)償特征，然后乘以丟失的特征數(shù)。其潛在的思想是認(rèn)為丟失特征對分類的貢獻(xiàn)是等同的。本文提出了一種改進(jìn)的特征補(bǔ)償策略，即認(rèn)為不同的特征類型對不同的輸出類別有不同的貢獻(xiàn)。通過把改進(jìn)后的模型在機(jī)器學(xué)習(xí)的標(biāo)準(zhǔn)

4、數(shù)據(jù)集上和原模型做對比測試表明，修正后的補(bǔ)償策略能提高模型的學(xué)習(xí)效率和分類精度。
　　第二，本文分析了傳統(tǒng)最大熵模型中特征表達(dá)方式的特點(diǎn)，指出這種特征表達(dá)方式存在的兩個缺點(diǎn)：首先是沒有考慮屬性類型對分類的影響，其次，由于增加補(bǔ)償特征來彌補(bǔ)丟失屬性對分類的影響，導(dǎo)致迭代算法的收斂速度降低。為此，我們提出了一種改進(jìn)最大熵模型特征表達(dá)的方法，即在傳統(tǒng)模型特征的基礎(chǔ)上，引入了屬性類型對分類的影響，新模型的特征包含兩部分：屬性值對分類的貢獻(xiàn)

5、和屬性類型對分類的貢獻(xiàn)。在絕大多數(shù)分類任務(wù)中，訓(xùn)練集中的樣本大多數(shù)都是完整的或者不同樣本丟失的屬性并不相同?；谶@個事實(shí)，在訓(xùn)練過程中，利用完整樣本和在當(dāng)前屬性上有取值的樣本訓(xùn)練得到每種屬性類型對分類的貢獻(xiàn)度，該貢獻(xiàn)度通過線形組合和原模型中的特征共同作用于樣本的分類。通過在標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)數(shù)據(jù)集上的實(shí)驗(yàn)測試，改進(jìn)后的特征表達(dá)的分類性能較傳統(tǒng)最大熵模型的性能有較大提高。
　　第三，本文將最大熵模型用于中文名實(shí)體識別，并在其框架下，定義了

6、多種特征，其中包括上下文特征（N-gram）、詞典特征（中文姓氏詞典、地名詞典）、構(gòu)詞特征（后綴）等。同時，我們在研究過程中發(fā)現(xiàn)，在加入詞典特征后，某些詞的詞典特征因?yàn)楣蚕頇?quán)值，而使得權(quán)值過度增加，無法正確識別出該詞在特定上下文環(huán)境中的類別。我們把這種現(xiàn)象稱之為“權(quán)重偏置”（Weight Bias）。為了解決這一問題，本文提出了通過把特征分為原子特征，然后再對原子特征進(jìn)行二元組合和三元組合形成一組復(fù)合特征的策略。同時為了降低系統(tǒng)的復(fù)雜性

7、，避免過擬合的發(fā)生，我們采用了基于互信息的特征模板選擇方法。
　　第四，本文采用條件隨機(jī)域（CRF：Conditional Random Field）模型來進(jìn)行中文名實(shí)體識別，為了考慮長距離約束對名實(shí)體識別的影響，我們在CRF模型中融合了觸發(fā)對的特征。提出了一種基于詞方差的選擇觸發(fā)對候選詞的方法，并且采用了兩種詞語相關(guān)度的計算方法，即平均互信息和2χ統(tǒng)計量，其中2χ統(tǒng)計量是第一次被用來抽取中文觸發(fā)對。更進(jìn)一步對四種主要的概率模型在