基于詞條分布的特征選擇算法在文本分類中的研究與應(yīng)用.pdf

1、近年來，在互聯(lián)網(wǎng)的高速發(fā)展下，電子文本的數(shù)量迅速增長，這使得人們很難準確、快速地從浩瀚的數(shù)據(jù)中找到真正需要的信息。因此，如何有效地組織和管理這些信息已經(jīng)成為了一項十分有意義的研究課題。文本分類就是解決這一問題的關(guān)鍵技術(shù)，通過該技術(shù)可以幫助人們高效、準確地定位所需要的文本信息。
　　論文詳細介紹了文本分類的基本流程，主要包括文本預(yù)處理、文本表示、特征選擇、特征加權(quán)和分類算法。在此基礎(chǔ)上，作者對特征選擇進行了深入地研究，并提出了兩個新

2、的特征選擇算法。
　?。?）提出了一個基于詞頻的特征選擇算法。通過對IG、DF和MI等已有的特征選擇算法進行分析、研究，我們發(fā)現(xiàn)，在特征選擇時，這些算法都充分考慮了文檔頻率這個影響因素。但是，在分類過程中，詞頻對特征選擇的影響也很大。然而，目前單純地只從詞頻的角度來進行特征選擇的算法還并不多。因此，作者提出了一種基于詞頻的特征選擇算法-FSATF算法，該算法充分考慮了詞頻、詞條的類內(nèi)分布以及詞條的類間分布。實驗證明，F(xiàn)SATF算法

3、具有較好的分類性能，是一種有效的特征選擇算法。
　?。?）提出了一個基于詞條相對貢獻率的特征選擇算法?？紤]到DF、IG、t-Test等算法在進行特征選擇時傾向于高頻詞匯，并取得了較好的實驗效果；CTD和SCIW算法在進行特征選擇時利用了類別信息，其實驗準確率也較好。容易發(fā)現(xiàn)：高頻詞和詞條的類別信息對分類效果有著重要的影響。因此，作者提出了一種基于詞條相對貢獻率的特征選擇算法-RCT算法，該算法充分考慮了詞條的詞頻因素以及詞條對類別