基于統(tǒng)計的漢語縮略語還原方法研究與實現.pdf

1、伴隨著生活步伐的加快，出于簡潔方便的經濟原則，人們在表達時越來越多地使用縮略語。然而，縮略語的使用在給人們帶來便利的同時也給許多領域帶來了不便。比如在進行信息抽取時，縮略語作為噪聲會降低抽取結果;在進行機器翻譯時，縮略語的存在會對翻譯結果的準確性造成不良的影響，等等。因此，如何準確地還原漢語縮略語已成為自然語言處理相關研究面臨的重要挑戰(zhàn)。
　　本文在以新聞語料為基礎深入分析漢語縮略語特點基礎上，分別采用N元語法模型、統(tǒng)計機器翻譯模

2、型和語義相似度方法探索漢語縮略語的還原問題。具體地，本文從以下兩個方面展開研究:
　　(1)基于N-gram、基于機器翻譯模型的漢語縮略語還原?；贜-gram的縮略語還原通過構建縮略語還原知識庫構造縮略語還原候選集，在N元語法模型的框架下，對縮略語還原候選集進行語言解碼，獲得還原結果;基于機器翻譯模型的漢語縮略語還原，通過構建基于詞對齊、基于短語對齊的機器翻譯模型，利用Moses獲得含有縮略語完整形式的目標語言。實驗結果表明，基

3、于短語對齊的機器翻譯模型具有更好的還原性能。
　　(2)基于語義相似度的漢語縮略語還原:本文提出從語義角度出發(fā)，使用語義特征完成漢語縮略語的還原工作。首先，利用詞嵌入模型從大量未標注的新聞文本中無監(jiān)督地學習出詞向量。然后，獲取還原候選及其上下文的詞向量。最后，通過計算語義相似度選取最佳還原候選，實現漢語縮略語的還原工作。同時，我們還利用語言模型和語義相似度結合的方法對縮略語進行還原。實驗結果表明，基于N-gram結合詞向量的語義相