多策略英漢詞對(duì)齊技術(shù)的研究.pdf

1、詞語(yǔ)對(duì)齊的目標(biāo)在于指明平行文本片段之間的對(duì)應(yīng)關(guān)系，最早是作為統(tǒng)計(jì)翻譯模型的中間產(chǎn)物而被提出。在英漢詞對(duì)齊技術(shù)研究中，詞形、語(yǔ)義、句法的多樣性和靈活性，未登錄詞及分詞錯(cuò)誤等不利因素，一定程度上直接或間接影響了詞對(duì)齊的質(zhì)量。人們嘗試結(jié)合不同的信息來(lái)提高詞對(duì)齊的質(zhì)量并獲得了很好的成績(jī)。
　　迄今為止，出現(xiàn)了很多高準(zhǔn)確率的詞對(duì)齊算法，每種典型的算法自身都有其特有的優(yōu)勢(shì)。如基于統(tǒng)計(jì)的方法，可以識(shí)別一定數(shù)量的未登錄詞，不足之處是需要大規(guī)模的雙

2、語(yǔ)句對(duì)作為支撐；基于詞典的方法可靠性較高，但不能識(shí)別未登錄詞；基于知網(wǎng)的方法一定程度上可以處理語(yǔ)義信息，但詞匯量十分有限，義原的定義還有待進(jìn)一步細(xì)化。本文介紹了目前國(guó)內(nèi)外關(guān)于詞語(yǔ)對(duì)齊技術(shù)的研究現(xiàn)狀，闡述了幾種具有代表性的詞語(yǔ)對(duì)齊方法，分析了它們的理論基礎(chǔ)，算法實(shí)現(xiàn)和各自的特點(diǎn)。
　　雙語(yǔ)語(yǔ)料的詞語(yǔ)對(duì)齊在很多自然語(yǔ)言處理領(lǐng)域具有十分重要的作用。本文通過對(duì)雙語(yǔ)語(yǔ)料和各種不同類型算法對(duì)齊結(jié)果的分析，利用一個(gè)語(yǔ)法上潛在的規(guī)律指導(dǎo)詞對(duì)齊的消

3、歧過程。在這種觀點(diǎn)的指導(dǎo)下，吸取了目前主流方法各自潛在的優(yōu)勢(shì)，提出一個(gè)多策略詞對(duì)齊算法，它融入了基于詞典的方法，基于知網(wǎng)的方法和基于統(tǒng)計(jì)的Giza++方法。
　　實(shí)驗(yàn)表明，該多策略方法取得了很好的測(cè)試結(jié)果，在對(duì)齊結(jié)果上F值達(dá)到85.15％，較優(yōu)化后的IBM模型提高近10％。同時(shí)，對(duì)齊錯(cuò)誤率降低10％，在統(tǒng)計(jì)機(jī)器翻譯的實(shí)例測(cè)試中也取得良好的效果。該方法根據(jù)不同算法對(duì)齊結(jié)果的可靠性和相容性，實(shí)現(xiàn)了各種算法的優(yōu)勢(shì)互補(bǔ)，實(shí)現(xiàn)過程簡(jiǎn)單有效，