文本分類中特征選擇算法的分析與研究.pdf

1、自動文本分類是對大量的半結(jié)構(gòu)化、無鮚構(gòu)化的未知類別文本(文本文檔、網(wǎng)頁等)按照給定的分類體系，根據(jù)文本內(nèi)容劃分到指定的類別中的過程。由于文本數(shù)據(jù)的半結(jié)構(gòu)化、無結(jié)構(gòu)化的特點，當(dāng)文本使用特征向量表示的時候，特征向量通常會達(dá)到幾萬維甚至于幾十萬維，給文本分類帶來了很不利的影響。如果直接在這樣一個高維特征空間上進(jìn)行分類器的訓(xùn)練和分類，會帶來兩個問題：一是很多低維空間具有良好性能的統(tǒng)計分類器在計算上變得低效不可行；二是訓(xùn)練樣本(訓(xùn)練文本集的個數(shù))

2、一定的前提下，過多的特征使得樣本統(tǒng)計的估計變得非常困難，從而降低統(tǒng)計分類器的推廣能力和泛化能力，呈現(xiàn)所謂的“過學(xué)習(xí)”或”過訓(xùn)練”的現(xiàn)象。因此尋求一種有效的維數(shù)約簡方法，降低特征空間的維數(shù)，提高分類的效率和精度，成為文本自動分類中至關(guān)重要的問題。
　　 維數(shù)約簡是將高維空間映射到一個小得多的低維空間，同時希望該低維空間一方面能盡可能多的保留原始數(shù)據(jù)中的重要信息，另一方面又能有效地把原始信息中的噪音、冗余數(shù)據(jù)過濾掉。維數(shù)約簡技術(shù)分為

3、兩類，分別是特征選擇、特征重構(gòu)。特征選擇是依據(jù)某個準(zhǔn)則在原始特征集合中挑選出有利于學(xué)習(xí)算法的特征，去掉那些冗余的、與類別不相關(guān)的特征。特征重構(gòu)是由原始特征集合創(chuàng)建新的特征集合，使得新創(chuàng)建的特征集合遠(yuǎn)遠(yuǎn)小于原始的特征集合。由于特征選擇具有速度快，適合處理于大規(guī)模數(shù)據(jù)集的特點，因此本文主要在特征選擇方面開展了一些工作，提出了兩種特征選擇算法：基于互信息的相關(guān)性特征選擇方法和基于關(guān)聯(lián)分析的特征選擇方法。
　　 基于互信息的相關(guān)性特征選

4、擇方法不僅計算了特征與類別的相關(guān)度，也考慮了特征之間的相關(guān)度。文中采用了改進(jìn)后的互信息作為相關(guān)性的量化指標(biāo)來衡量特征與特征、特征與類別間的相關(guān)性，從而在最大程度保留原始空間信息的目的下，盡可能地剔除掉不相關(guān)的、冗余的特征。在試驗中將文本分類中常用的特征選擇方法IG、CHI作為參照的基準(zhǔn)，從實驗結(jié)果中可以看到我們提出的算法是很有效的一種特征選擇方法。
　　 基于關(guān)聯(lián)分析的特征選擇方法主要考慮了特征之間存在的關(guān)聯(lián)關(guān)系，傳統(tǒng)的特征選擇