1、自然語言(人類語言),是指一個(gè)基于文化特點(diǎn)的,用于正式場(chǎng)合正式場(chǎng)合的交流系統(tǒng)[1]。自然語言處理(計(jì)算語言學(xué))是指應(yīng)用于學(xué)習(xí)、理解和產(chǎn)生自然語言的計(jì)算技術(shù)[2]。統(tǒng)計(jì)機(jī)器翻譯是指利用機(jī)器學(xué)習(xí)為主要手段,用統(tǒng)計(jì)的方法來將一種語言翻譯成另一種語言。作為目前自然語言處理中最流行的方向之一,區(qū)別于基于規(guī)則的機(jī)器翻譯,其翻譯范式是基于統(tǒng)計(jì)模型對(duì)平行雙語語料的分析。其中,基于短語的機(jī)器翻譯長(zhǎng)時(shí)間被認(rèn)為是最為有效的機(jī)器翻譯方法。近年來,隨著計(jì)算機(jī)性能
2、的提升,以神經(jīng)網(wǎng)絡(luò)為代表的基于連續(xù)空間的機(jī)器翻譯開始流行,在不同方面提升了機(jī)器翻譯的表現(xiàn):比如語言模型,翻譯模型和一體化端對(duì)端的機(jī)器翻譯模型等。
雖然連續(xù)空間模型在機(jī)器翻譯中得到了效果的提升,但是其也有顯著的缺點(diǎn),其中最為代表性的是:
1)由于采取了非線性的模型,雖然很多工作著力于優(yōu)化相應(yīng)模型,但是訓(xùn)練和運(yùn)算時(shí)間相對(duì)于線性模型仍然較慢。
2)以神經(jīng)網(wǎng)絡(luò)模型為代表的連續(xù)空間模型往往采用特征自動(dòng)學(xué)習(xí)的方法,這樣
3、帶來的優(yōu)點(diǎn)是可以自動(dòng)提取特征,避免了人工的特征選擇,但是反過來,一些有意義的語義信息被忽略了。
基于以上已有方法的缺點(diǎn),本文從基于神經(jīng)網(wǎng)絡(luò)模型和圖模型這兩個(gè)連續(xù)空間模型的角度,提升機(jī)器翻譯的表現(xiàn)。在神經(jīng)網(wǎng)絡(luò)模型方面:
1)我們提出了一種將連續(xù)空間語言模型轉(zhuǎn)化為線性語言模型的方法,該方法可以使連續(xù)空間語言模型在保持高性能的前提下,以線性語言模型的速度進(jìn)行解碼運(yùn)算。
2)我們提出了拼接短語這一語言學(xué)概念,利用神
4、經(jīng)網(wǎng)絡(luò)的可擴(kuò)展性,我們將拼接短語與神經(jīng)網(wǎng)絡(luò)結(jié)合起來,用于提高機(jī)器翻譯的自適應(yīng)性和可擴(kuò)展性。在圖模型方面,我們提出了一個(gè)新的雙語語義單元–雙語上下文詞團(tuán)(Bilingual Contexonym Cliques,BCC)。區(qū)別于目前已有的直接利用上下文或者滑動(dòng)窗口的詞空間表示方法,BCC蘊(yùn)含更多的語義信息?;贐CC,我們構(gòu)建了雙語圖語義模型,其可以用于提升基于短語的機(jī)器翻譯的表現(xiàn)。
本文提出的各種算法均在國際公開測(cè)評(píng)的語料(例