中介語統(tǒng)計機器翻譯模型若干改進研究.pdf

1、在統(tǒng)計機器翻譯中，基于句法的方法、基于短語的方法比基于詞的方法更有效。這些方法都需要大規(guī)模的雙語平行語料，然而，對于一些語言來說，僅有部分小規(guī)模的雙語平行語料是可以利用的，這種數(shù)據(jù)稀疏的情況會降低統(tǒng)計機器翻譯系統(tǒng)的效果。對于這個問題，本文在基于短語的統(tǒng)計機器翻譯中利用中介語的方法做了一些實驗，并在此過程中，我們發(fā)現(xiàn)還有很多地方需要改進。
　　在基于短語的統(tǒng)計機器翻譯模型中，由于不同的語言之間存在著數(shù)量規(guī)模不等的雙語平行語料，對于那

2、些存在少量雙語平行語料的語言而言，在做統(tǒng)計機器翻譯系統(tǒng)搭建的時候，由于統(tǒng)計機器翻譯嚴重依賴于大量的平行語料庫，此時雙邊平行語料的不足引起的數(shù)據(jù)稀疏問題，會導致機器翻譯的效果嚴重降低。這種現(xiàn)象，在不同語系之間的統(tǒng)計機器翻譯過程中更加明顯。在統(tǒng)計機器翻譯中，解決這類問題的一個行之有效的方法是引入另外一種語言作為一個“橋梁”來搭建源語言S與目標語言T之間的翻譯系統(tǒng)，實現(xiàn)源語言S、目標語言T之間的統(tǒng)計機器翻譯。
　　本文工作建立在基于短語

3、的統(tǒng)計機器翻譯之上，利用中介語的方法在解決數(shù)據(jù)稀疏等問題;同時，力圖改進短語模型系統(tǒng)，提高基于短語的統(tǒng)計機譯系統(tǒng)的效果。簡而言之，本文圍繞中介語模型中的斷路現(xiàn)象、中介語模型中意外引進的“噪音”問題等進行了深入的研究，并獲得了一些成果。
　　在基于中介語的統(tǒng)計機器翻譯的過程中，我們在源語言、中介語之間建立了S-P的翻譯模型，在中介語、目標語言之間建立了P-T的翻譯模型。但是，由于不同語言之間存在著差異，導致源語言翻譯到目標語言之間出

4、現(xiàn)“中介語斷路”的現(xiàn)象。特別是在一些口語化的語料中，人們因為使用的習慣長期省略了某些功能詞，在人際交往中或許可以被理解，但是在統(tǒng)計機器翻譯中，卻會造成很大的失誤。我們提出了利用復述技術(shù)的方法，改進了原有的中介語模型，減少了中介語斷路現(xiàn)象，提高了統(tǒng)計機器翻譯的效果。
　　不管是源語言的詞還是目標語言的詞;或者是中介語的詞;在基于短語的機器翻譯模型中，幾乎很難避免一詞多義現(xiàn)象。這種情況，給我們的基于中介語的方法造成了很大的障礙。我們在

5、S-P的翻譯模型中發(fā)現(xiàn)，源語言詞對存在的多義詞會分別被翻譯成不同的多個中介語的詞，這樣就會對翻譯到目標語言的詞造成干擾。翻譯系統(tǒng)不需要的那些詞被稱為“噪音”。為了改進這個問題，我們運用了分布式表達的方法，用word2vec獲得了不同詞的詞向量，再通過編程實現(xiàn)維度轉(zhuǎn)化后計算了余弦值，找出了最可能的翻譯詞對。成功剔除了“噪音”，改進了基于中介語的統(tǒng)計機器翻譯。最后，我們的實驗證明了通過復述技術(shù)可以擴充短語表的規(guī)模，更有效的解決“中介語斷路”