基于統(tǒng)計(jì)方法的漢語(yǔ)依存句法分析研究.pdf

1、句法分析的任務(wù)是根據(jù)給定的語(yǔ)法，自動(dòng)推導(dǎo)出句子的語(yǔ)法結(jié)構(gòu)。句法分析性能的提高將對(duì)信息檢索、信息抽取以及機(jī)器翻譯等應(yīng)用產(chǎn)生重要的推動(dòng)作用。
　　在句法分析的研究中，依存語(yǔ)法以其形式簡(jiǎn)潔、易于標(biāo)注、便于應(yīng)用等優(yōu)點(diǎn)，逐漸受到研究人員的重視。目前，已經(jīng)被自然語(yǔ)言處理領(lǐng)域的許多專家和學(xué)者所采用，應(yīng)用于多種語(yǔ)言之中。但由于語(yǔ)料資源以及技術(shù)等原因，漢語(yǔ)在依存句法分析方面的相關(guān)研究并不多。為了彌補(bǔ)這方面的不足，本文使用基于語(yǔ)料庫(kù)的統(tǒng)計(jì)學(xué)習(xí)方法，對(duì)

2、漢語(yǔ)的依存句法分析技術(shù)進(jìn)行了探索。
　　首先，實(shí)現(xiàn)了一個(gè)包含分詞和詞性標(biāo)注的詞法分析系統(tǒng)，并增加了動(dòng)詞子類標(biāo)注的功能。區(qū)分動(dòng)詞的語(yǔ)法屬性是為了減少由動(dòng)詞引起的語(yǔ)法歧義，降低句法結(jié)構(gòu)的復(fù)雜度。本文首先制定了一個(gè)動(dòng)詞細(xì)分類體系，將動(dòng)詞分為8個(gè)子類，然后使用最大熵的方法對(duì)動(dòng)詞進(jìn)行子類標(biāo)注，用以改善句法分析的性能。
　　其次，進(jìn)行了短語(yǔ)分析的工作。名詞復(fù)合短語(yǔ)是各種語(yǔ)言中的普遍存在的一種語(yǔ)法結(jié)構(gòu)，對(duì)信息抽取、機(jī)器翻譯等應(yīng)用有很大的影

3、響。由于傳統(tǒng)的句法分析對(duì)此類結(jié)構(gòu)的處理不夠理想，本文對(duì)名詞復(fù)合短語(yǔ)進(jìn)行專門處理，以降低句法分析的難度。針對(duì)漢語(yǔ)名詞復(fù)合短語(yǔ)的特點(diǎn)，本文提出一種基于隱馬爾科夫樹模型的名詞復(fù)合短語(yǔ)分析方法，較好地解決了此類短語(yǔ)對(duì)句法分析的影響。
　　另外，句法分析對(duì)句子的長(zhǎng)度非常敏感，隨著長(zhǎng)度的增加，句法分析的效率以及準(zhǔn)確率均會(huì)受到嚴(yán)重的影響。為了減少句子長(zhǎng)度的影響，本文對(duì)句子片段進(jìn)行識(shí)別。先將句子劃分為多個(gè)片段，并使用基于支持向量機(jī)的方法對(duì)每個(gè)片段

4、類型進(jìn)行識(shí)別；然后對(duì)片段進(jìn)行依存分析，再識(shí)別出各片段之間的依存關(guān)系，最后將各個(gè)片段組合為一個(gè)完整的分析樹。
　　在以上三種技術(shù)基礎(chǔ)之上，根據(jù)漢語(yǔ)的特點(diǎn)，本文探索了一個(gè)高效的漢語(yǔ)依存句法分析算法。針對(duì)漢語(yǔ)語(yǔ)法結(jié)構(gòu)靈活、樹庫(kù)資源不是非常充分的情況，本文使用分治策略對(duì)句子中的一些特定語(yǔ)法結(jié)構(gòu)進(jìn)行預(yù)處理。在搜索算法上，使用動(dòng)態(tài)局部?jī)?yōu)化的確定性分析算法對(duì)句子進(jìn)行解碼，提高了搜索的效率。
　　為了檢驗(yàn)漢語(yǔ)依存句法分析方法的擴(kuò)展性，并探索

5、單語(yǔ)依存分析同多語(yǔ)依存分析的不同之處，本文最后實(shí)現(xiàn)了一個(gè)基于分步策略的多語(yǔ)依存分析系統(tǒng)，并在CoNLL2006的數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。通過對(duì)實(shí)驗(yàn)結(jié)果的分析以及同評(píng)測(cè)結(jié)果的比較，驗(yàn)證了本文方法的有效性。
　　本文前面的詞法分析、短語(yǔ)分析、句子片段識(shí)別三部分工作是為句法分析服務(wù)的，每部分工作在不同層面上解決了漢語(yǔ)依存分析中的難點(diǎn)問題，對(duì)句法分析工作做了有力的支撐。后面的兩部分工作分別在漢語(yǔ)和多語(yǔ)方面對(duì)依存句法分析做了理論和技術(shù)上的探索。