適用于漢蒙統(tǒng)計機器翻譯的形態(tài)切分方法探究.pdf

1、統(tǒng)計機器翻譯(Statistical Machine Translation，簡寫SMT)是機器翻譯中的主流，也是當前非限定領(lǐng)域機器翻譯中性能較高的一種。其基本思想是通過對大規(guī)模的平行語料進行統(tǒng)計分析，構(gòu)建統(tǒng)計翻譯系統(tǒng)模型，利用此模型進行翻譯。
　　 基于詞的統(tǒng)計是最早的統(tǒng)計機器翻譯系統(tǒng)方法，但是卻因為建模單元過小而受到一定限制?；谧畲箪啬Ｐ偷膮^(qū)分性訓練方法的提出使基于詞的機器翻譯過渡到基于短語的翻譯，并正在融合句法信息，以進

2、一步提高翻譯的精確性。
　　 不論是基于詞的統(tǒng)計模型還是基于短語統(tǒng)計模型本質(zhì)上都是詞匯化的。對于形態(tài)豐富的語言，由于其語言本身詞法，語法變化繁多。詞干后附加各種詞綴及附加成分來表達詞法的或語法上的意義。對于漢蒙統(tǒng)計機器翻譯，兩種語言的特征差異較大，從而產(chǎn)生嚴重的信息不對稱，歧義，數(shù)據(jù)稀疏等問題。
　　 形態(tài)豐富語言的詞切分是對其進行信息處理的重要基礎(chǔ)。近年來各種新模型、新方法的提出大大提高了切分質(zhì)量。而應(yīng)用形態(tài)信息的機器

3、翻譯方法并沒有太多發(fā)展。不同于傳統(tǒng)的嚴格基于語言學上的形態(tài)切分，我們主要針對漢蒙統(tǒng)計機器翻譯系統(tǒng)中形態(tài)信息的應(yīng)用，將基于短語的統(tǒng)計機器翻譯模型與形態(tài)切分融合。我們的方法考慮了源語言的目標語言互譯信息，提出了有針對性的目標語言形態(tài)切分。采用基于詞典的搜索式切分對語料庫進行預(yù)處理，后處理中運用最大熵模型訓練蒙古語的形態(tài)生成。該方法有效的融合了形態(tài)信息的同時避免了傳統(tǒng)的形態(tài)生成的復雜計算。
　　 主流的統(tǒng)計機器翻譯評測方法中，將單個詞

4、作為獨立的基本單元實體進行評測，忽略了單個詞中包含的形態(tài)結(jié)構(gòu)信息。對于形態(tài)豐富的語言，大量構(gòu)詞構(gòu)形信息包含在詞綴中。對此類語言進行自動評測時，一個詞素的錯誤導致整個詞在評測中的錯誤。忽略了形態(tài)因子在譯文中的價值，使得此類評測方法無法給予在形態(tài)信息表征上取得進步的系統(tǒng)更合理的評分。所以我們提出了一種基于形態(tài)因子的蒙古語機器翻譯評測方法，在統(tǒng)計模型中加入語言特征的方法，解決了過度切分帶來的粒度過小，結(jié)果不準確問題。豐富了對于形態(tài)豐富語言的評