基于神經(jīng)網(wǎng)絡(luò)的詞義相似度計算在文本檢索中的應(yīng)用.pdf

1、近年來，自然語言處理越來越火熱，詞義相似度計算的研究也成為該領(lǐng)域的重要分支。它在信息檢索中的使用非常普遍，也在句法分析中起關(guān)鍵作用。詞義相似度計算的研究一直有不少優(yōu)秀學者在進行探索，從提出至今已有十多年的發(fā)展歷史，它的定義也越來越清晰。上個世紀末開始國內(nèi)外的學者對其進行的研究方法大概分為兩種。第一種是根據(jù)大規(guī)模的知識來計算，主要思想是根據(jù)詞語概念層次關(guān)系的語義詞典方法，通過上下位的聯(lián)系移交同位詞來做相似度計算。第二種是利用爬取語料庫，通

2、過特征統(tǒng)計選擇出上下文相關(guān)的語義信息，并對與關(guān)鍵詞相關(guān)性較強的上下文詞語做概率分布計算。現(xiàn)如今加入了神經(jīng)網(wǎng)絡(luò)模型對詞語進行訓練，以更好地獲取詞的語義以及語法信息，得到更好的詞向量，其中經(jīng)典的模型是CBOW與Skip-gram模型。本文就是將多個模型進行結(jié)合并做算法優(yōu)化以求更好的詞義相似度計算方法，得到了不錯的計算結(jié)果。
　　作為搜索中很重要的文本檢索在教育、生活各方面發(fā)揮著重要的作用。這是一個全新的時代，人們能夠獲取數(shù)量巨大的信息

3、。但是，在這種情況下。一方面人們能夠從這些大數(shù)據(jù)中得到較多的信息;另一方面也是由于大數(shù)據(jù)的背景讓網(wǎng)絡(luò)上的信息變得魚龍混雜，讓信息變得難以管理的同時，也增加了人們管理和發(fā)現(xiàn)高價值信息與資源的難度。于是，擁有一種能使人們快速獲得自己所需要的信息的工具已經(jīng)變成我們的急迫需求。
　　本文的研究是基于神經(jīng)網(wǎng)絡(luò)的詞義相似度計算及其應(yīng)用。應(yīng)用體現(xiàn)在提升文本檢索的準確率、召回率與綜合評價指標。在結(jié)合了前人詞義相似度算法的基礎(chǔ)上提出了新的改進算法:

4、改進版的基于神經(jīng)網(wǎng)絡(luò)的詞義相似度計算。本文主要做了以下工作:
　　(1)對詞義相似度計算的發(fā)展研究進行介紹，對新興的基于神經(jīng)網(wǎng)絡(luò)的詞義相似度計算和自己改進的算法有詳細的闡釋。簡要說明了檢索系統(tǒng)的概念、核心技術(shù)以及引進了相似度算法的研究。
　　(2)對維基百科數(shù)據(jù)爬蟲，中文分詞，寫程序進行文本切分，運用前人在詞義相似度計算方面的經(jīng)驗對算法進行改進，設(shè)計出更好的訓練模型來訓練詞向量，得到更精準的詞義相似度數(shù)據(jù)。對未經(jīng)過相似度計算