基于向量空間模型的中文文本相似度算法研究.pdf

1、當(dāng)今世界以信息技術(shù)為代表的現(xiàn)代科技日新月異，并正在對人類社會產(chǎn)生著不可估量的影響。在現(xiàn)實世界中，文本是最重要的信息載體，計算機對文本相似度的計算是信息處理中一個非?；A(chǔ)而又關(guān)鍵的問題。在信息檢索、信息過濾、文本分類、知識挖掘、機器翻譯等諸多領(lǐng)域，文本相似度計算都有著廣泛的應(yīng)用。由于中文是“意合型”而非“形合型”的語言，計算機對于中文的處理相對于其他語言存在更大的難度，因此中文文本相似度的計算一直是一個研究熱點和難點。
　　本論文研

2、究中文文本的相似度計算問題，以提出一種高性能的中文文本相似度算法為目標(biāo)，主要有如下幾個方面的研究成果：
　　1.對現(xiàn)有的文本相似度計算技術(shù)進(jìn)行了研究和分析，其中重點研究向量空間模型和計算機對中文文本的語義分析技術(shù)。
　　2.結(jié)合空間向量模型的文本向量化思想以及中文語義分析技術(shù)，提出一種融合了語料統(tǒng)計和語義分析的中文文本相似度計算方法。新算法采用漢語中的語義主題作為向量空間的維度，將對中文文本的語義分析融合在文本結(jié)構(gòu)化模型中，

3、以克服傳統(tǒng)向量空間模型在語義分析層面的不足。
　　3.以科技論文的中文摘要作為測試集，通過文本相似度計算實驗對新算法的效果進(jìn)行了評估。實驗結(jié)果表明：在同等條件下，結(jié)合了中文語義分析的新算法對中文文本相似度的計算結(jié)果比單純采用語料統(tǒng)計的傳統(tǒng)算法更合理。
　　4.基于新算法實現(xiàn)了中文文本相似度計算系統(tǒng)CN-SIM，該系統(tǒng)已經(jīng)在實際的工程項目中獲得了應(yīng)用并取得了良好的效果。
　　本課題的研究及其成果在中文信息處理的許多領(lǐng)域中