基于核函數(shù)和自定類別數(shù)目的文本聚類問題研究.pdf

1、近年來，Internet的迅速發(fā)展給人們帶來了諸多的方便，但隨著互聯(lián)網(wǎng)上信息不斷動態(tài)變化，經(jīng)常會出現(xiàn)新的文本很難用己有的分類體系來刻畫。如果重新進行分類，就必須重新建立分類好的訓練文本集，而獲得大量帶有類別標注的樣本的代價是很大的。因此，對文本聚類技術的研究受到越來越廣泛的關注。目前比較經(jīng)典的聚類方法，K-均值、模糊 K-均值聚類方法只能對一些典型分布的樣本奏效，都沒有對樣本的特征進行優(yōu)化，而是直接利用樣本的特征進行聚類。這樣聚類和模糊

2、聚類方法的有效性很大程度上取決于樣本的分布情況。例如一類樣本散布較大，而另一類散布較小的話，這些方法效果就比較差；如果樣本分布更加混亂，則聚類的結果就會面目全非。核函數(shù)不僅可以把一個低維空間中的非線性問題映射到高維空間后變成線性問題，而且高維空間中特征向量的內(nèi)積可以通過核函數(shù)用低維空間中的輸入向量直接計算得到，從而使得計算量并沒有隨著維數(shù)升高而增加很多。本文在了解核函數(shù)的基本理論上，提出了基于核函數(shù)的文本聚類算法，即核模糊聚類算法。通過

3、利用Mercer核，我們把輸入空間的樣本映射到高維特征空間，增加對樣本特征的優(yōu)化，并且在特征空間中進行聚類。 本文在詳細分析圖論中連通圖知識的理論基礎上，提出了一種能自動確定聚類類別數(shù)目的圖核聚類方法。每個數(shù)據(jù)樣本看作圖中的頂點V，這樣所有的數(shù)據(jù)樣本就構成一個以相似度為權值的無向加權圖G=，該文從圖論連通圖的角度定義了能充分反映最佳聚類數(shù)目的連通系數(shù)T。該系數(shù)不僅將相似的文本劃分到一個連通圖中，而且具有清晰的物理意義。