文本聚類方法研究及其應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的不斷深入發(fā)展，網(wǎng)絡(luò)上堆積的數(shù)據(jù)日益龐大，并且大部分?jǐn)?shù)據(jù)以文本的形式存儲。文本的非數(shù)值性、復(fù)雜性等特點(diǎn)使得文本挖掘成為數(shù)據(jù)挖掘相關(guān)領(lǐng)域中的熱點(diǎn)與難點(diǎn)。在與文本相關(guān)的一些應(yīng)用中，如垃圾郵件甄別，文本分類方法受到了訓(xùn)練樣本的限制，無法達(dá)到令人滿意的效果。文本聚類方法由于具有無監(jiān)督的學(xué)習(xí)能力，成為人們尋求解決這些問題的一個(gè)重要方向。 文本聚類方法主要包括文本表示模型和文本聚類算法。目前大多數(shù)文本表示模型都是以詞條為基本單位進(jìn)

2、行建立的，這使得模型數(shù)據(jù)具有高維與稀疏的特點(diǎn)。在高維數(shù)據(jù)空間中，聚類往往只存在于某些子空間中，并且不同的聚類所關(guān)聯(lián)的子空間也存在差異。受“維度效應(yīng)”的影響，傳統(tǒng)的聚類算法一般無法直接對高維數(shù)據(jù)進(jìn)行有效的聚類，需要通過一些特殊的處理。 本文在常用的矢量空間模型(VSM)基礎(chǔ)上，以聚類算法為出發(fā)點(diǎn)，研究如何基于不同的聚類算法建立相應(yīng)的文本聚類方法。通過研究傳統(tǒng)文本聚類方法的聚類過程，分析了傳統(tǒng)方法對于聚類算法的要求，繼而提出了一種具

3、有魯棒性的數(shù)據(jù)點(diǎn)收縮聚類算法，并在此基礎(chǔ)上建立相應(yīng)的文本聚類方法；通過分析傳統(tǒng)文本聚類方法在維度約簡方式上存在的不足，提出了一種子空間聚類算法，并在此基礎(chǔ)上建立相應(yīng)的文本子空間聚類方法。本文的主要工作如下： 1．研究層次型聚類算法CURE，通過將其代表點(diǎn)收縮的思想與網(wǎng)格密度概念相結(jié)合，從而達(dá)到對數(shù)據(jù)分布更為細(xì)致的度量，在此基礎(chǔ)上提出一種基于數(shù)據(jù)點(diǎn)收縮的網(wǎng)格聚類算法，并通過實(shí)驗(yàn)驗(yàn)證了算法的有效性； 2．在網(wǎng)格聚類算法基礎(chǔ)上