面向文本聚類的特征選擇方法及應(yīng)用研究.pdf

1、文本挖掘已經(jīng)成為一個重要的研究領(lǐng)域，研究由各種數(shù)據(jù)源組成的文本數(shù)據(jù)，幫助人們挖掘、分析文本內(nèi)容，挖掘文本數(shù)據(jù)模式等。文本聚類是文本挖掘領(lǐng)域的重要任務(wù)之一，可以幫助企業(yè)或用戶對文本進行歸納和總結(jié)。文本特征的高維稀疏性降低了文本聚類的性能，而有效的特征選擇方法是提升文本聚類效果的關(guān)鍵環(huán)節(jié)。因此，本文主要研究文本聚類中的特征選擇方法，并將其應(yīng)用于電信行業(yè)客戶投訴記錄的聚類分析，具體研究內(nèi)容如下:
　　本文提出了一種基于文本聚類結(jié)果的特征

2、選擇方法(Feature Selection Method basedon Cluster Result，F(xiàn)S-CR)。該方法首先對原始文本語料庫進行聚類，得到文本的初始聚類結(jié)果，然后將初始聚類結(jié)果作為類別標(biāo)簽，計算文本中全部特征的信息增益并排序，從中選出重要的特征，最后用選出的特征進行文本聚類，得到最終的聚類結(jié)果。本文將FS-CR特征選擇方法同已有的文檔頻數(shù)，單詞貢獻度兩種特征選擇方法進行對比實驗，用F-measure和特征壓縮率來評

3、價，實驗結(jié)果表明本文方法用少量有效特征得到更高的F-measure值，說明了FS-CR特征選擇方法的優(yōu)越性。
　　傳統(tǒng)的權(quán)值計算方法只考慮了特征頻數(shù)和文檔頻數(shù)，而文本數(shù)據(jù)中包含了大量的語義信息，因此本文引入了位置因子和段落同現(xiàn)因子，提出了一種基于文本語義信息和聚類結(jié)果的特征選擇方法(Feature Selection Method based on Semantic Information andCluster Result，F(xiàn)S

4、-SI-CR)。該方法將語義信息與FS-CR結(jié)合，使反映文本主題的特征權(quán)重得到加強，改善FS-CR特征選擇方法的初始聚類效果，進而提高最終的文本聚類效果。本文將FS-SI-CR方法、FS-CR方法和基于語義的單詞貢獻度方法進行比較，對比實驗表明FS-SI-CR特征選擇方法優(yōu)于其他兩種方法。
　　現(xiàn)有電信行業(yè)客戶投訴數(shù)據(jù)是無類別標(biāo)簽信息的文本數(shù)據(jù)，該文本數(shù)據(jù)內(nèi)容較短，本文引入的段落同現(xiàn)語義因子在投訴文本中修正為句子同現(xiàn)因子。首先提出