文本分類與特征選擇技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著WWW的迅猛發(fā)展，Web上聚集了海量的信息，因此如何快速、準(zhǔn)確而全面的獲取有用信息已經(jīng)成為巨大的挑戰(zhàn)?；谌斯ぶ悄艿男畔?nèi)容的自動(dòng)聚類、分類和文摘，以及深層次的文本挖掘?yàn)橛舆@個(gè)挑戰(zhàn)提供了新的支撐技術(shù)。本文的目標(biāo)就是在文本挖掘的背景下，從理論、算法和應(yīng)用三個(gè)層次來研究文本特征選擇與文本分類。 本文首先全面分析了自動(dòng)分詞、文本特征選擇、文本分類算法等相關(guān)技術(shù)。 隨后重點(diǎn)研究了kNN文本分類器中決策規(guī)則的改進(jìn)。kNN方法

2、作為一種簡(jiǎn)單、有效、非參數(shù)的分類方法，在文本分類中得到廣泛的應(yīng)用。但是這種方法的一個(gè)明顯缺點(diǎn)是：當(dāng)樣本分布密度相對(duì)不均勻時(shí)，只按照前k個(gè)近鄰順序而不考慮它們的距離差別會(huì)造成誤判，影響分類器的性能。針對(duì)這個(gè)問題，本文采用了模糊分類的思想，通過分析相似度、距離、隸屬度函數(shù)之間的關(guān)系，構(gòu)造了基于文檔相似度的決策規(guī)則來克服這一缺陷。 接著提出了一種快速有效的文本特征選擇新方法。文本分類的首要任務(wù)就是進(jìn)行特征選擇，降低原始文本特征空間的維

3、數(shù)和提高分類精度。基尼指數(shù)作為一種不純度分裂方法的原理，很早就被提出并應(yīng)用于決策樹中的分裂屬性的選擇，獲得了非常好的分類精度。但將其應(yīng)用到文本特征選擇的研究卻非常少。使用基尼指數(shù)原理進(jìn)行了文本特征選擇的研究，構(gòu)造了基于基尼指數(shù)的新的文本特征選擇評(píng)估函數(shù)。 論文最后，在中英文兩個(gè)不同的語料集上，給出了試驗(yàn)結(jié)果與分析。 (1)采用四種著名的文本特征選擇方法進(jìn)行特征選擇，對(duì)改進(jìn)的模糊kNN方法與經(jīng)典kNN方法和目前廣泛使用的基