中文文本分類的研究與應用.pdf

1、隨著信息技術(shù)尤其是因特網(wǎng)相關(guān)技術(shù)的發(fā)展與成熟，人們可獲得的信息越來越多。面對海量信息，一方面是人們對快速、準確且全面獲取信息的渴望，另一方面卻是信息的雜亂無序。而文本分類作為處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù)，可在較大程度上解決信息雜亂問題，對于信息的高效管理和有效利用都具有極其現(xiàn)實的意義，并已成為數(shù)據(jù)挖掘領(lǐng)域中一個重要的研究方向。本文在分析和總結(jié)文本分類中文本表示模型、文本預處理、特征選擇、特征加權(quán)、分類方法和分類性能評價的基礎上，對特

2、征選擇、特征加權(quán)進行了深入研究。本文的主要研究工作如下：
　　 (1)針對文本分類中的高維特征空問和冗余特征問題，提出了一種基于類別分布的特征選擇，并與ECBF算法相結(jié)合，給出了一種二次特征選擇方法。其中，墓于類別分布的特征選擇方法可以較好的處理高維空間問題，并且對特征集進行初步篩選，ECBF算法能夠合理的衡量特征之問的冗余程度，用來處理特征冗余問題。通過該二次特征選擇方法不僅可以為文本分類選擇合適的特征，而且還可以減少大量的冗

3、余特征，從而提高文本分類器的性能。
　　 (2)針對文本分類中的特征加權(quán)問題，本文首先詳細分析了最經(jīng)典也是常用的估算特征權(quán)重的TF-IDF方法，發(fā)現(xiàn)TF-IDF只是能較好的表達一個特征詞對一個文檔的區(qū)分能力，但是沒有引入特征詞區(qū)分一個類和其他類的能力的表示。文本在研究樸素貝葉斯分類模型和TF-IDF特點后，提出一種改進的特征加權(quán)估算方法。該估算方法有效的對各個特征詞的類別區(qū)分能力給出合適的權(quán)重。
　　 本文從文本分類的特