基于SOM算法的中文文本聚類.pdf

1、文本挖掘是數(shù)據(jù)挖掘領域中一個熱門的研究方向。在文本挖掘領域中，文本聚類技術有助于縮小數(shù)據(jù)搜索空間，提高查詢精度。作為一種無監(jiān)督的機器學習方法，文本聚類技術已經(jīng)成為對文本信息進行有效地組織、摘要和導航的重要手段，為越來越多的研究人員所關注?？梢哉f，文本聚類的研究具有重要的理論意義和實際使用價值。 自組織特征映射神經(jīng)網(wǎng)絡SOM在聚類應用中具有自組織映射、可視化好、計算效率高、聚類效果好等良好特性。因此，本文將SOM神經(jīng)網(wǎng)絡應用到中文

2、文本聚類中，研究其在文本聚類中的有關特性。 本文首先介紹了中文文本聚類中幾項預處理關鍵技術：分詞、數(shù)據(jù)清洗、特征詞選取、文本向量表示。在此基礎上，本文實現(xiàn)了文本的預處理模型：從已知詞匯庫中根據(jù)詞性構造了一個初步的中文停用詞表，用來對已分好詞的文章進行停用詞篩選。在剩下的那些詞中，根據(jù)詞的有效性評價，選取出一定數(shù)量的特征詞?；谶@些特征詞，利用向量空間模型VSM，把每篇文章表示成計算機能夠處理的實數(shù)向量。 本文繼而研究了對

3、于類別已知的文本，利用SOM網(wǎng)絡和已知類別標注方法，實現(xiàn)先驗類別知識指導下的文本聚類。針對傳統(tǒng)SOM算法聚類效果不佳的情況，本文使用核SOM算法進行改進，并且通過實驗比較了傳統(tǒng)SOM算法和核SOM算法在文本聚類中的聚類精度和魯棒性。 如果文本的類別事先是未知的，單純使用SOM算法是無法實現(xiàn)自動聚類的。因此，本文將SOM網(wǎng)絡和K均值聚類算法相結合，研究了類別未知文本的兩階段自動聚類。相比K均值聚類模型：前者聚類速度快，聚類結果可視