論漢英平行語料的平行處理.pdf

1、平行語料庫研究是近年來語料庫語言學橫向發(fā)展的新趨勢。人們已經(jīng)清楚認識到大規(guī)模的高質(zhì)量漢英平行語料庫在自然語言處理、比較語言學研究和第二語言教學等眾多領域中的巨大價值。但與單語語料庫相比，漢英平行語料庫無論在規(guī)模還是質(zhì)量上都有較大差距。 為了進一步提高漢英平行語料的加工精度以適應建設和利用大規(guī)模平行語料的要求，本文以漢英平行語料的平行處理為主要研究對象，旨在利用雙語信息，尤其是來自另一語言的信息來解決平行語料中某一語言的歧義問題。

2、 本項研究主要取得了以下幾方面成果： 第一，系統(tǒng)研究了平行處理技術。不僅明確了平行處理的含義，它在平行語料加工中的地位及價值，以及平行語料中用于消歧的語言資源層次及類別等等，而且還通過實驗詳細論證了平行處理技術在未登錄詞識別、詞性標注、詞義標注及句法分析等自然語言處理各層面的利用方法及有效性。 第二，平行處理技術是漢—英和英—漢雙向的。我們不僅利用英語來解決漢語的歧義問題，包括漢語未登錄詞識別、漢語兼類詞和多義詞

3、標注以及漢語“動詞+名詞”短語類型識別等，而且也利用漢語來解決英語歧義，例如英語的詞性消歧和詞義消歧等。 第三，在未經(jīng)詞匯對齊的平行語料中，實踐了基于個性規(guī)則的詞性、詞義消歧方法。統(tǒng)計模型適于自動處理數(shù)據(jù)密集的問題，本文對英語人名漢譯名的平行識別就主要使用了統(tǒng)計方法，精確率達到99.45％。而對于一些統(tǒng)計處理消歧效果較差、但出現(xiàn)頻率又很高的詞語，我們手工編寫針對性極強的消歧規(guī)則。這些規(guī)則具有不受上下文長度和模板數(shù)量限制、特別適合

4、于雙語平行處理、消歧效果好等優(yōu)點。我們?yōu)?個典型兼類詞(過去、計劃、與、back、so)和5個典型多義詞(地方、所有、等、since、state)設計的平行處理算法，在大規(guī)模英漢或漢英平行語料中得到了驗證，觀察語料中的標注精確率均為100％，各類型語料中的總體精確率最高為100％，最低的也達到了96.59％，這比目前僅利用單語進行詞性和詞義消歧的成績有了大幅度提高。 第四，精加工了1000句對的漢英平行語料。我們首先統(tǒng)計分析了這