融合語義概念的神經(jīng)機(jī)器翻譯集外詞處理方法研究.pdf

1、機(jī)器翻譯是利用計(jì)算機(jī)技術(shù)實(shí)現(xiàn)源語言到目標(biāo)語言的轉(zhuǎn)換，是自然語言處理研究領(lǐng)域中最具挑戰(zhàn)性的綜合性前沿課題之一，有十分重要的研究和應(yīng)用價(jià)值。
　　端到端神經(jīng)機(jī)器翻譯是近幾年來流行的一種機(jī)器翻譯方法。不同于統(tǒng)計(jì)機(jī)器翻譯的模塊化結(jié)構(gòu)，神經(jīng)機(jī)器翻譯通過建立一個(gè)可以同時(shí)學(xué)習(xí)和調(diào)整所有參數(shù)的神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)端到端的神經(jīng)機(jī)器翻譯模型。目前，盡管神經(jīng)機(jī)器翻譯已經(jīng)占據(jù)機(jī)器翻譯的主導(dǎo)地位，但仍有許多問題亟待解決，其中，由于詞表規(guī)模受限所導(dǎo)致的集外詞問題尤

2、其重要。因此，如何有效處理神經(jīng)機(jī)器翻譯中的集外詞，改善翻譯性能，是目前研究的一個(gè)難點(diǎn)和熱點(diǎn)。集外詞不僅影響模型獲得源語言句子的語義完整性，而且在語義和結(jié)構(gòu)層面給目標(biāo)語言生成帶來不利影響。而傳統(tǒng)的基于詞向量相似度的集外詞處理方法存在難以處理低頻詞和多義詞、以及對(duì)生語料適應(yīng)性差等問題。另一方面，如何在神經(jīng)機(jī)器翻譯中融合語義詞典等外部知識(shí)庫，提高翻譯精度，也成為一項(xiàng)具有挑戰(zhàn)意義的研究任務(wù)。
　　為了解決上述問題，本文創(chuàng)新性地以在神經(jīng)機(jī)器

3、翻譯中融合外部知識(shí)庫為切入點(diǎn)，將語義概念應(yīng)用于集外詞處理中。本文的主要?jiǎng)?chuàng)新點(diǎn)和貢獻(xiàn)如下:
　　1.在神經(jīng)機(jī)器翻譯中引入了外部語義詞典，嘗試以語義概念解決集外詞問題，利用外部人工知識(shí)庫提升集外詞替換的準(zhǔn)確度，不僅能夠改善集外詞的翻譯，同時(shí)提高了存在集外詞情況下整個(gè)譯文的質(zhì)量。
　　2.提出了一種融合單語語義概念的集外詞處理方法。在翻譯解碼階段利用WordNet的語義概念和單語語言模型對(duì)集外詞進(jìn)行替換，改善翻譯效果。實(shí)驗(yàn)表明提高

4、了翻譯質(zhì)量。
　　3.提出了一種融合雙語語義概念的集外詞處理方法。在模型訓(xùn)練階段利用HowNet的語義概念和雙語語言模型對(duì)訓(xùn)練語料的集外詞對(duì)進(jìn)行替換，提高翻譯模型的參數(shù)質(zhì)量;在翻譯解碼階段利用HowNet的語義概念和單語語言模型對(duì)集外詞進(jìn)行替換，改善翻譯效果。實(shí)驗(yàn)表明提高了翻譯質(zhì)量。
　　本文成功地在神經(jīng)機(jī)器翻譯中引入了外部語義詞典中的語義概念以解決集外詞問題，英漢翻譯方向的實(shí)驗(yàn)結(jié)果表明，我們提出的集外詞處理方法不僅能夠顯著