Urdu語言詞性標(biāo)注的統(tǒng)計學(xué)方法.pdf

1、語言在人們的日常生活中扮演著重要的角色，是執(zhí)行任務(wù)、完成工作的手段。語言有口語、書面語之分。在任何語言處理任務(wù)中，語料庫語言學(xué)的研究都很有意義。一般來說，語料是組織好的文本集合，包括口語和書面語資源。從計算語言學(xué)的角度，語料是采用電子手段處理的大量文本的集合，包含各種各樣的信息。語料能夠準(zhǔn)確揭示語言的使用模式，是語言統(tǒng)計學(xué)產(chǎn)生的根源。不同的基于語料庫的方法可以被用來完成不同的語言學(xué)相關(guān)任務(wù)。
　　基本上，對屈折語言進(jìn)行句法分析和信

2、息檢索等任務(wù)的研究時，使用的資源是經(jīng)過詞法分析的文本。例如給每個詞語指定一個包含所有可能詞法類別標(biāo)記的集合，能夠使詞語本身更有意義，也更容易理解。然而多數(shù)系統(tǒng)需要更加精準(zhǔn)的信息，這些系統(tǒng)僅僅需要一個單獨的詞法類別，以便準(zhǔn)確地應(yīng)用在特定的文本中。這一過程被稱為“標(biāo)注”（Tagging），它利用輸入文本中詞語的上下文從標(biāo)記類別中選擇最適當(dāng)?shù)臉?biāo)記。
　　在任何與自然語言處理相關(guān)的任務(wù)中，標(biāo)注問題的重要性都絲毫不能忽略。本文的主要研究對象

3、是烏爾都語（Urdu）。跟其他語言，如英語、漢語相比，烏爾都語的計算機(jī)自動處理技術(shù)研究遠(yuǎn)遠(yuǎn)落在后面。這主要歸因于缺乏標(biāo)準(zhǔn)標(biāo)注集和已標(biāo)注資源?？紤]到這些資源的昂貴價格和構(gòu)建的困難性，這是難以避免的。然而，就像論文里所描述的，我們跨越了這些障礙。
　　烏爾都語屬于印歐語系，受波斯語和阿拉伯語的影響很大，同印地語關(guān)系密切，是東南亞地區(qū)的一種重要語言。在許多國家，如巴基斯坦、印度和阿富汗等具有重要的地位。全世界有超過6千萬人把烏爾都語作為

4、母語，有超過1億人把烏爾都語作為第二語言。在互聯(lián)網(wǎng)時代，研究烏爾都語的自動處理技術(shù)，對于烏爾都語的使用和推廣具有重要作用，因而本文的研究具有重要意義。
　　我們考察了烏爾都語詞性標(biāo)注研究中的各種不同問題。對烏爾都語分析的結(jié)果表明，對于詞序自由（freewordorder）和高度屈折（highlyinflected）的語言來說，未登錄詞是標(biāo)注錯誤的主要來源。英語中的未登錄詞大多數(shù)都是專有名詞，然而研究表明，烏爾都語的未登錄詞通常是有

5、標(biāo)志或無標(biāo)志的名詞、動詞以及無標(biāo)志的形容詞。這些未登錄詞與烏爾都語結(jié)合起來，加深了標(biāo)注問題的難度，在這個意義上烏爾都語更像土耳其語（Turkish）或捷克語（Czech），而不是英語。
　　本文著重論述我們在烏爾都語詞性標(biāo)注方面所取得的進(jìn)展。統(tǒng)計方法在其他自然語言的處理過程中曾經(jīng)大顯身手，因此他們也被用來構(gòu)建和標(biāo)注烏爾都語的語料庫。鑒于其他印度語系語言語料的缺乏，本文所獲得的事實和結(jié)論對于其他印度語系語言來說也富有積極的啟發(fā)意義。

6、
　　烏爾都語作為一種高度屈折和詞序結(jié)構(gòu)自由的語言，具有很高的歧義性。本文著重于使用不同的基于統(tǒng)計的方法來處理烏爾都語語料，比如N-gram，基于詞形態(tài)結(jié)構(gòu)的模型，隱馬爾科夫模型（HiddenMarkovModel）以及最大熵模型（MaximumEntropyModel）。
　　我們首先使用了N-gram模型，重點分析了Unigram、Bi-gram和Back-off模型在烏爾都語詞性標(biāo)注中的應(yīng)用。這些模型標(biāo)注時使用了覆蓋詞

7、語周圍信息的上下文。我們也分別考察了兩種標(biāo)注集（大小不同）和語料規(guī)模對N-gram標(biāo)注模型性能的影響，結(jié)果表明我們提出的小標(biāo)注集獲得了非常好的效果。在大、小標(biāo)注集的基礎(chǔ)上，我們進(jìn)一步構(gòu)造了混淆矩陣來分析最容易產(chǎn)生歧義的標(biāo)注子集，并通過使用基于統(tǒng)計的t-分布來考察使用大、小標(biāo)注集結(jié)果的有效性。跟其他復(fù)雜的統(tǒng)計模型相比較，N-gram既簡單又有效。
　　接著我們使用隱馬爾科夫模型來解決歧義問題。我們使用有監(jiān)督學(xué)習(xí)算法基于已標(biāo)注語料庫進(jìn)

8、行模型的參數(shù)選擇，并使用Viterbi算法找出與文本中詞語序列最匹配的詞性標(biāo)記序列。我們的方法最突出的特點是在隱馬爾科夫模型中整合了多種有名的平滑技術(shù)，比如Laplace、Lidstone、Expected、Likelihood、WittenBell和GoodTuring等等。我們觀察到平滑技術(shù)在處理未登錄詞時起到了很重要的作用，但是有時基于規(guī)則的方法也很有效。對于各種平滑技術(shù)，我們針對屈折性比較高的詞性標(biāo)記構(gòu)造了混淆矩陣進(jìn)行分析。此外

9、，還使用了基于方差分析（ANOVA）的統(tǒng)計評價方法進(jìn)行分析，結(jié)果表明平滑技術(shù)對于整體的標(biāo)注正確率和未登錄詞正確率有很重要的影響。
　　最大熵模型也被我們采用用來解決烏爾都語的詞性標(biāo)注問題。最大熵模型也是一種有監(jiān)督的學(xué)習(xí)方法，因此需要標(biāo)注好的語料庫。在最大熵模型中，我們采用的特征包括詞語形態(tài)學(xué)特征和上下文特征。兩種參數(shù)估計方法：GIS和LBFGS被分別用來訓(xùn)練模型的參數(shù)。實驗中我們發(fā)現(xiàn)，LBFGS比GIS具有更快的速度和更好的效果。

10、我們設(shè)計了針對不同標(biāo)注集和不同規(guī)模的訓(xùn)練集上的實驗，這些實驗的結(jié)果表明，采用最大熵方法，烏爾都語的詞性標(biāo)注的整體準(zhǔn)確率位于89.71％和97.16%之間。其中，詞表詞的詞性標(biāo)注的準(zhǔn)確率位于90.12%和97.73%之間，未登錄詞的詞性標(biāo)注的準(zhǔn)確率位于81.75%和86.20%之間。這個結(jié)果表明烏爾都語的詞性標(biāo)注的性能達(dá)到了實用水平。
　　最后我們把基于詞形態(tài)結(jié)構(gòu)的模型整合到統(tǒng)計模型中，著重評價基于詞形態(tài)結(jié)構(gòu)的方法在處理未登錄詞問題

11、的效果。統(tǒng)計模型在此處僅僅起到過濾未登錄詞的作用。詞形態(tài)結(jié)構(gòu)特征基于常用的屈折變化進(jìn)行抽取，我們通過使用相關(guān)方法的結(jié)果的平均值來分析新模型的性能提升的統(tǒng)計顯著性。該分析在對詞性標(biāo)注的性能進(jìn)行評價的同時還能夠顯示每一個詞形態(tài)結(jié)構(gòu)特征集合的有效性。
　　本文中所有的標(biāo)注系統(tǒng)都是通過在EMILLE語料庫上進(jìn)行訓(xùn)練獲得的，該語料庫由英國的蘭徹斯特大學(xué)（LancasterUniversity）創(chuàng)建。EMILLE語料庫主要由單語語料、平行語料