基于詞向量的文本距離計(jì)算及應(yīng)用研究.pdf

1、互聯(lián)網(wǎng)逐漸成為記錄人們生活和工作的信息載體，給人們的生活和工作帶來(lái)了獲取信息的便利，同時(shí)在被使用的過(guò)程中產(chǎn)生了大量的文本數(shù)據(jù)。如何從海量的、復(fù)雜的文本數(shù)據(jù)中及時(shí)有效地提取出重要信息？這些難題都急需要自然語(yǔ)言處理(Natural Language Processing，NLP)的相關(guān)技術(shù)來(lái)解決，其中文本距離的計(jì)算是自然語(yǔ)言處理中一項(xiàng)基礎(chǔ)而重要的工作。
　　文本距離（或文本相似度）的計(jì)算一直是自然語(yǔ)言處理領(lǐng)域的研究熱點(diǎn)之一，在文本分類(lèi)

2、、文本聚類(lèi)等面向文本級(jí)的自然語(yǔ)言處理應(yīng)用中發(fā)揮著重要的基礎(chǔ)性作用。傳統(tǒng)的基于詞袋的文本距離計(jì)算模型盡管簡(jiǎn)單易實(shí)現(xiàn)，但并未考慮詞與詞之間潛在的語(yǔ)義距離關(guān)系，因此有較大的局限性。近年來(lái)有學(xué)者提出基于word2vec的Word Mover's Distances(WMD)方法，該方法在計(jì)算文本距離時(shí)考慮了詞語(yǔ)間的潛在語(yǔ)義關(guān)系，提高了文本距離的計(jì)算精度，間接地改善了相關(guān)應(yīng)用任務(wù)的效果，從而在一定程度上緩解了傳統(tǒng)方法的不足。然而，該方法僅采用詞頻

3、來(lái)度量詞在文本中的重要性，并沒(méi)有區(qū)分詞之間的差異性，也沒(méi)有抑制高頻詞的過(guò)度影響。此外，與給定詞語(yǔ)義相似的一些詞和給定詞之間的詞向量距離非常接近而難以區(qū)分。鑒于此，本文針對(duì)文本距離做了兩方面的探索:
　　第一，在WMD方法的基礎(chǔ)上進(jìn)一步提出了兩類(lèi)改進(jìn)方法:其一，通過(guò)對(duì)詞的統(tǒng)計(jì)加權(quán)來(lái)融入詞的差異性特征，以及分別對(duì)詞頻和詞權(quán)重進(jìn)行規(guī)范化來(lái)抑制高頻詞的過(guò)度影響;其二，通過(guò)Sigmoid函數(shù)對(duì)詞之間的相似度進(jìn)行轉(zhuǎn)換，使其具有更好的區(qū)分度。并

4、在SemEval的五個(gè)公開(kāi)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明這兩類(lèi)改進(jìn)方法在相關(guān)性系數(shù)的評(píng)價(jià)上比WMD方法有所提高。
　　第二，將所提出的方法應(yīng)用到文本分類(lèi)和跨媒體的信息鏈接兩個(gè)任務(wù)中。在文本分類(lèi)的任務(wù)中，利用所提出的文本距離計(jì)算方法結(jié)合KNN分類(lèi)模型，在八個(gè)公開(kāi)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，結(jié)果顯示本文所提出的方法在分類(lèi)錯(cuò)誤率上比WMD方法有所降低;在跨媒體的信息鏈接任務(wù)中，融合文本距離和社交媒體的時(shí)間信息構(gòu)建了線性回歸鏈接模型，并在權(quán)威數(shù)據(jù)集