文本分類中特征降維技術(shù)的研究.pdf

1、隨著網(wǎng)絡和信息技術(shù)的快速發(fā)展，大規(guī)模的文本處理得到持續(xù)研究和關(guān)注。大規(guī)模文本分類面對的是巨大的文本和類別數(shù)量，高維的特征空間對分類算法帶來極高的計算復雜度和空間復雜度，且影響算法的可擴展性。對特征空間有效的降維不僅可以提高分類的效率和效果，而且可以提高分類器的泛化能力，因此對特征空間實施降維是非常必要的。
　　 本文研究了文本分類的關(guān)鍵技術(shù);討論了對特征向量空間進行降維的必要性;分析了特征空間降維常用的方法;由于主流的特征提取方

2、法不能處理高維的特征空間，提出采用迭代的CCIPCA和ICA算法，解決大規(guī)模文本分類的降維問題;針對特征選擇和特征提取方法的不足，采用了一種ICA與IG組合的降維方法;用分類對比實驗對CCIPCA和ICA算法的有效性和可行性進行了評估，分析了實驗結(jié)果及其產(chǎn)生的原因。
　　 分類對比實驗結(jié)果表明：基于迭代的CCIPCA和ICA特征提取方法，所需計算空間較小，可以有效處理大規(guī)模文本分類問題，在降維的基礎(chǔ)上提高了分類效果;在相同的數(shù)據(jù)