基于語(yǔ)義相似度的文本聚類(lèi)算法的研究.pdf

1、文本聚類(lèi)在很多文本挖掘和信息檢索系統(tǒng)中發(fā)揮著重要的作用。這種技術(shù)可以改善檢索性能、提供導(dǎo)航/瀏覽機(jī)制、發(fā)現(xiàn)相似文本等。因此，對(duì)文本聚類(lèi)的研究已成為數(shù)據(jù)挖掘中一個(gè)非常重要的課題。 文本聚類(lèi)的首要問(wèn)題是文本數(shù)據(jù)的數(shù)學(xué)表示。目前多數(shù)文本聚類(lèi)算法都是以向量空間模型（VSM）為基礎(chǔ)的。這種文本表示方法非常簡(jiǎn)單，但卻引發(fā)了高維稀疏的問(wèn)題。而且，基于向量空間模型的聚類(lèi)算法都沒(méi)有很好地解決文本數(shù)據(jù)所特有的兩個(gè)自然語(yǔ)言問(wèn)題：近義詞和多義詞。所有這

2、些問(wèn)題都極大干擾了文本聚類(lèi)算法的效率和準(zhǔn)確性，使文本聚類(lèi)的性能下降。盡管人們提出通過(guò)向量空間權(quán)重調(diào)整和降維來(lái)解決上述問(wèn)題，但是這些方法都有自身的缺點(diǎn)。向量空間權(quán)重調(diào)整法實(shí)際上并沒(méi)有解決以上問(wèn)題，它只能非常有限地提高文本聚類(lèi)的性能。降維法雖然解決了高維稀疏問(wèn)題，但是降維的代價(jià)一般都非常大。另外，現(xiàn)有的文本聚類(lèi)算法大多沒(méi)有給出聚類(lèi)描述的方法。 為了避免上述問(wèn)題的產(chǎn)生，本人采用了一種新的思路，即采用語(yǔ)義相似度作為文本間相似度的度量。為

3、了完善這一思想，本文對(duì)文本表示，語(yǔ)義相似度計(jì)算以及聚類(lèi)算法作了深入討論。提出了一種更利于語(yǔ)義相似度計(jì)算的概念列表文本表示法；結(jié)合Quillian的聯(lián)合概念距離計(jì)算的方法，提出了文本間語(yǔ)義相似度的計(jì)算方法；最后提出了一種基于語(yǔ)義相似度的文本聚類(lèi)算法—TCUSS算法。TCUSS算法利用語(yǔ)義相似度作為文本間相似度的度量，不僅解決了多義詞和近義詞的問(wèn)題，而且不會(huì)產(chǎn)生高維稀疏的問(wèn)題。TCUSS算法以圖為基礎(chǔ)進(jìn)行聚類(lèi)分析，避免了算法對(duì)聚簇形狀的限制