基于統(tǒng)計學(xué)習(xí)的詞義消歧關(guān)鍵技術(shù)研究.pdf

1、自然語言的歧義性，是計算機處理和理解文本的重大難題之一。語言的各個層面都存在歧義性，包括語音、詞法、句法、語義和語用等。本文重點關(guān)注詞法層面歧義的處理，即自動詞義消歧。自動詞義消歧，即在特定的上下文中為單詞選擇合適的詞義，是自然語言處理中最為基礎(chǔ)的核心技術(shù)之一。對機器翻譯、信息檢索、語義分析等領(lǐng)域起著十分重要的支撐作用。
　　隨著九十年代機器學(xué)習(xí)技術(shù)的快速發(fā)展，有監(jiān)督機器學(xué)習(xí)算法在詞義消歧中取得了優(yōu)勢。然而，在目前的詞義消歧研究中

2、，大多只是逐個地對出現(xiàn)的每個多義詞進行消歧，而且沒有考慮相鄰多義詞消歧結(jié)果之間的相關(guān)性，以及對整個句子的多義詞消歧結(jié)果的全局優(yōu)化。本文以全局優(yōu)化為著眼點，重點考察結(jié)構(gòu)化機器學(xué)習(xí)方法在詞義消歧的應(yīng)用，并將句法結(jié)構(gòu)與機器學(xué)習(xí)方法的圖結(jié)構(gòu)有機的結(jié)合，進一步提高詞義消歧的性能。此外，標注數(shù)據(jù)匱乏一直是困擾詞義消歧的問題。對多義詞進行人工標注是一個非常耗費人力的過程，目前沒有任何一種語言具有充分多的詞義標注語料。相反，無標注語料卻是大量存在的，尤

3、其互聯(lián)網(wǎng)上存在海量的無標注文本。如何利用這些唾手可得的無標注語料來增強詞義消歧的性能，是一個受到廣泛關(guān)注的方向。本文考察了話題特征和自舉在詞義消歧的應(yīng)用。
　　本文具體研究內(nèi)容如下：
　　(1)采用隱馬爾可夫模型對全文消歧進行精確建模，引入一步上下文依賴關(guān)系，并進一步擴展為最大熵馬爾可夫模型，以集成非獨立的語言學(xué)特征。全文消歧是對給定文本中全部開放詞（包括名詞、動詞、形容詞和副詞）進行消歧，它的一個突出特點就是各個多義詞的消

4、歧結(jié)果是相關(guān)的。據(jù)我們所知，目前的方法很少考慮到這一特點，而將每個多義詞單獨進行消歧。本文則充分利用這一特點，首先，用隱馬爾可夫模型對全文消歧進行建模，將全文消歧轉(zhuǎn)化為一個線性序列標注問題。然后，針對隱馬爾可夫模型只能利用較為單一觀察值的缺點，本文將其擴展為最大熵馬爾可夫模型，將大量的上下文特征集成到模型中。再次，由于全詞消歧包含大量狀態(tài)，在隱馬爾可夫模型和最大熵馬爾可夫模型中均存在數(shù)據(jù)稀疏和高時間復(fù)雜度的問題，本文設(shè)計了柱狀搜索Vit

5、erbi算法和平滑策略來解決。最后，在Senseval-2和Senseval-2004的英語全文消歧數(shù)據(jù)集上進行了評測，本文提出的基于最大熵馬爾可夫模型的消歧方法與國際上權(quán)威評測 Senseval中最好的結(jié)果相當(dāng)。
　　(2)利用條件隨機域消除“消歧標記偏置”，用近似訓(xùn)練、并行化等手段解決模型復(fù)雜度過高的問題，并用依存句法樹擴展模型的圖結(jié)構(gòu)。對于全文消歧而言，由于最大熵馬爾可夫模型需要對逐個隱狀態(tài)進行局部歸一化，導(dǎo)致了“消歧標記偏

6、置”問題。為了進一步提升消歧系統(tǒng)的性能，本文采用了條件隨機域模型，它使用全局歸一化來解決標記偏置問題。而條件隨機域的時間復(fù)雜度很高，在單機上無法解決像全文消歧這樣的大狀態(tài)問題。本文通過近似訓(xùn)練、并行化等方法將條件隨機域的訓(xùn)練時間復(fù)雜度由O(mLTN2)降為O(mLTR2)，其中N為狀態(tài)數(shù)，約為幾萬到十幾萬，R為一個詞的最大可能詞義數(shù)，約為數(shù)十；通過柱狀搜索將條件隨機域的解碼時間復(fù)雜度由O(TN2)降為O(TR2)?。本文在Senseva

7、l-2004英語全文消歧任務(wù)上對條件隨機域進行實驗，召回率（詞義消歧的評測指標見3.6.2節(jié)）為0.657，高于該評測中的最好成績。另外，為了在消歧過程中更好的利用句法樹信息，本文將條件隨機域的圖結(jié)構(gòu)由線性改為樹狀，使用樹狀條件隨機域進行消歧。本文在Senseval-2004英語全文消歧任務(wù)上對樹狀條件隨機域進行實驗，召回率為0.668，說明加入句法信息能夠提高詞義消歧的性能。
　　(3)利用話題特征提高詞義消歧的性能。由于現(xiàn)有詞

8、義消歧的上下文信息較少，以及人工標注訓(xùn)練集規(guī)模不足，導(dǎo)致了嚴重的數(shù)據(jù)稀疏。話題模型作為一種無監(jiān)督學(xué)習(xí)方法，試圖對信息進行聚類和壓縮，反映某種語義信息并提高詞的泛化性。本文提出了一種融合話題特征的消歧方法，從無標注語料庫推導(dǎo)出潛在狄利克萊話題特征，并用這些話題特征來提升詞義消歧分類器的性能。該方法在Senseval-2004英語全文消歧任務(wù)上的召回率為0.68，超過了已知文獻中的最好結(jié)果0.67。實驗結(jié)果還顯示：適當(dāng)?shù)脑掝}數(shù)有助于消歧；背

9、景語料庫的性質(zhì)對消歧性能有直接影響；規(guī)模大、平衡的背景語料庫對消歧性能的提升較大。
　　(4)采用自舉的方法，結(jié)合標注語料和無標注語料來提高消歧系統(tǒng)的性能。人工標注語料的匱乏，和無標注語料的大量存在，促使我們考慮利用無標注語料來增強消歧系統(tǒng)的性能。該算法的基本思想是，用人工標注語料生成初始分類器，用這些初始分類器對無標注語料進行自動標注，然后從這些自動標注的語料中選取若干標注置信度較高的樣本加入訓(xùn)練語料，使訓(xùn)練語料的規(guī)模增大。如此