面向統(tǒng)計機器翻譯的語料處理與評價技術(shù)研究.pdf

1、近年來，基于統(tǒng)計的方法在機器翻譯領(lǐng)域內(nèi)越來越占據(jù)到主導地位，多種基于統(tǒng)計方法的機器翻譯系統(tǒng)相繼出現(xiàn)，如基于短語、基于層次型短語、基于句法等等。而對于機器翻譯系統(tǒng)，語料是不可或缺的重要資源，所謂“巧婦難為無米之炊”?！帮垺弊龅暮贸赃€是不好吃，“巧婦”很重，當然也不能沒有米，“米”質(zhì)量的好壞也至關(guān)重要。為此，本文重點研究統(tǒng)計機器翻譯語料的預(yù)處理、雙語語料質(zhì)量的評價，以及語料選取和訓練集的構(gòu)建。另外，對雙語術(shù)語資源的自動獲取工作做了一些簡單的

2、介紹。
　　語料預(yù)處理工作是一項比較繁瑣但對機器翻譯來講又十分重要的任務(wù)。本文從傳統(tǒng)預(yù)處理角度介紹了預(yù)處理的流程、相關(guān)技術(shù)。同時結(jié)合專利翻譯任務(wù)語料預(yù)處理對涉及到的一些問題進行了討論。簡單的探討了預(yù)處理對機器翻譯性能的影響。
　　另外，針對統(tǒng)計機器翻譯雙語語料質(zhì)量參差不齊，并且難以保證的問題，本文比較了幾種不同的句對質(zhì)量評價方法，包括基于雙語詞典的句對質(zhì)量評價等。從忠誠度和流暢度兩個方面來衡量句對質(zhì)量。通過實驗驗證了這些方法

3、的合理性，并對其中存在的問題進行了分析。
　　雙語專名、術(shù)語翻譯資源對于機器翻譯來說也是非常重要的。本文基于互聯(lián)網(wǎng)和學術(shù)文獻數(shù)據(jù)庫，用自動的方法獲取了數(shù)百萬的雙語術(shù)語翻譯資源，并對資源進行了整理和規(guī)范化。這些資源為機器翻譯系統(tǒng)提供了重要的資源支撐。當然，這些資源同樣可用于中文分詞，信息檢索等諸多領(lǐng)域。
　　在訓練語料的選取和訓練集構(gòu)建方面，本文提出了基于句對質(zhì)量和覆蓋度的統(tǒng)計機器翻譯訓練語料選取方法，通過實驗證明了該方法的有

4、效性。在實驗數(shù)據(jù)上，選取原始規(guī)模20％的語料作為訓練集即達到用全部預(yù)料相當?shù)挠柧毿Ч?。并且將該方法用到具體的實際應(yīng)用中，為CWMT2011機器翻譯評測選取100萬中英雙語句對作為訓練語料。相關(guān)實驗充分表明了該方法的優(yōu)勢，且簡單有效。
　　在測試集給定并且訓練語料有限情況下，為了達到更佳的訓練效果，需要對原始訓練集進行優(yōu)化。有些研究是從原始的訓練集中選擇和測試集相似的句對，通過加重這些相似句對權(quán)重的方法來優(yōu)化訓練集的分布，達到提高翻