中文Web文本聚類研究.pdf

1、文本聚類是文本數(shù)據(jù)挖掘的重要技術(shù)，它是一種非監(jiān)督學(xué)習(xí)，可以由計算機自動進行，不需要人工干預(yù)。文本聚類通過比較文本的相似性，能發(fā)現(xiàn)文本的內(nèi)在特征及分布規(guī)律，從而獲得對文本數(shù)據(jù)更深刻的理解與認識。 本文以中文Web文本作為文本聚類的挖掘?qū)ο螅χ形腤eb文本聚類的全過程進行了研究。文中分析研究了中文Web文本聚類各個處理階段，其中包括：中文Web文本預(yù)處理、文本聚類、性能評價。 在文本預(yù)處理階段的研究中，本文針對文本聚類的

2、特點，提出了一種基于遺傳算法的特征選取方法。該方法可以在無先驗知識的情況下對特征向量降維，達到降低聚類復(fù)雜度，并保持聚類精度的效果。 在文本聚類算法的研究中，本文提出一種帶孤立點檢測的改進K-means算法。在該算法中，對文本數(shù)據(jù)集先進行孤立點檢測提取，然后執(zhí)行聚類，排除了孤立點對聚類的影響。并且在聚類過程中改進了傳統(tǒng)的初始聚類中心選取方法，采用基于最遠距離的初始聚類中心選取方法，一定程度上避免聚類陷入局部最優(yōu)。實驗證明該算法有