基于SVm-RFE和粒子群算法的特征選擇算法研究.pdf

1、在數(shù)據(jù)挖掘和機器學習領域，隨著大規(guī)模、高維數(shù)據(jù)的不斷涌現(xiàn)，特征選擇已成為模式識別技術的核心問題之一。大量無關或冗余特征的存在不僅造成了維數(shù)災難，還直接影響了分類器性能，因此需要對數(shù)據(jù)進行特征選擇。特征選擇是根據(jù)某種評估標準，從原始特征空間中除去不相關、冗余特征，以達到降低數(shù)據(jù)維數(shù)的目的。支持向量機(SVM)作為一種有效的識別工具，已被廣泛應用于各領域，并在小樣本高維數(shù)據(jù)中有其獨特優(yōu)勢，本文將以支持向量機作為分類器用于特征選擇。
　

2、　基于不同的評價準則，許多不同有效的特征選擇算法被提出，但面對錯綜復雜的數(shù)據(jù)問題，特征選擇技術還需不斷完善。本文采用了一種基于SVM-RFE和粒子群算法(PSO)的兩階段特征選擇算法，從特征選擇搜索策略來看，SVM-RFE屬于啟發(fā)式序列后向選擇算法，搜索速度快，但不能有效識別冗余特征。粒子群算法則是一種隨機搜索智能優(yōu)化算法，理論上能找到問題的最優(yōu)解，其結果具有較高的不確定性。本文將利用SVM-RFE和粒子群算法的不同優(yōu)勢進行數(shù)據(jù)降維，首

3、先利用SVM-RFE算法對特征進行排序，并按一定準則快速去掉部分無關特征，初步降低數(shù)據(jù)維數(shù)，然后以SVM-RFE排序后的優(yōu)良子集初始化后續(xù)粒子群算法的部分種群，使其有一個好的搜索起點。因此，SVM-RFE算法能為后續(xù)粒子群算法提供較好的先驗知識，減少了粒子搜索空間，并在一定程度上提高了算法選擇效率。在粒子群算法中，采用自適應權重參數(shù)來有效避免算法過早收斂等問題。
　　最后，通過UCI數(shù)據(jù)庫的不同數(shù)據(jù)集進行驗證，實驗結果表明:比起單