基于粒子群優(yōu)化算法的漢英語句對齊研究.pdf

1、雙語語料庫的構(gòu)建在自然語言處理、機器翻譯、數(shù)據(jù)挖掘、詞典編纂、多語言信息檢索等領域具有重要的應用價值。當今互聯(lián)網(wǎng)上存在大量雙語互譯文本，通過對互譯文本的處理，建立實用的雙語語料庫成為一個至關重要的問題。對齊技術(shù)的實現(xiàn)是互譯文本處理的關鍵，而漢英語句對齊的核心是尋找漢英語句中互為翻譯的源文和譯文語句。
　　 雙語文本的對齊可分為篇章、段落、句子、短語、單詞等粒度級別。其中語句粒度上的雙語對齊意義重大。因為語句的粒度小于段落的粒度，

2、因此語句的對齊能夠給對齊的段落提供更詳細的互譯信息；同時，語句的對齊往往是進行下一步更細粒度(如短語、詞匯)對齊的必要前提。
　　 漢語和英語是世界上最具代表性的兩種語言，因此，漢英語句對齊具有十分重要的研究意義。進行漢英語句對齊的研究也是漢英雙語語料庫走向?qū)嶋H應用的必要步驟。本文在研究構(gòu)建漢英語料庫中所使用的基本語句對齊方法的基礎上，提出一種將漢英語句對齊問題轉(zhuǎn)化為在潛在解空間中尋找漢英語句對齊的適應度函數(shù)最優(yōu)解的問題。本文主

3、要工作包括：
　　 ①研究了漢英語句對齊的相關技術(shù)，漢英語句的預處理方法以及評價標準，分析了漢英語句對齊的難點，并針對性的提出一種基于CCA投影子空間進行優(yōu)化求解的2步迭代模型，從而有效解決了漢英語句的自動對齊問題；
　　 ②鑒于漢英語句的特征空間的不一致性，引入典型相關分析，尋找漢英語句的典型公共子空間，從而將漢英語句對齊的問題形式化為基于粒子群優(yōu)化算法在雙語公共子空間中尋找漢英語句對齊適應度函數(shù)最優(yōu)解的問題；

4、　　 ③考慮到基本粒子群優(yōu)化算法在求解過程中容易出現(xiàn)早熟收斂、停滯等問題，改進了尋找適應度函數(shù)最優(yōu)解的基本粒子群算法。通過k-means劃分粒子群為多個子群，尋找子群的鄰居以及鄰居之間進行差異信息的交換，來尋找語句對齊適應度函數(shù)的最優(yōu)解，從而避免漢英語句對齊過程中的早熟收斂問題。
　　 本文將求解漢英語句的對齊轉(zhuǎn)化成基于粒子群優(yōu)化算法尋找漢英語句對齊適應度函數(shù)最優(yōu)解的問題。實驗證明，基于粒子群優(yōu)化算法的漢英語句對齊方法解決漢英