類重疊度與特征重疊區(qū)域的特征選擇算法.pdf

1、現(xiàn)在的社會(huì)是高速發(fā)展的社會(huì)，日益發(fā)展的科技，伴隨著越來越多的信息流通，大數(shù)據(jù)便是這個(gè)時(shí)代的產(chǎn)物。大數(shù)據(jù)的價(jià)值并不在“大”，而在于“有用”，數(shù)據(jù)中的價(jià)值含量、挖掘成本比數(shù)據(jù)的量更為重要。在此基礎(chǔ)上，數(shù)據(jù)挖掘技術(shù)的發(fā)展日益受到社會(huì)的重視。在數(shù)據(jù)挖掘技術(shù)中，特征選擇技術(shù)是一種主要的數(shù)據(jù)分析技術(shù)。在大數(shù)據(jù)分析中，如何從高維數(shù)據(jù)中篩選出區(qū)分能力強(qiáng)、具有重要研究?jī)r(jià)值的特征是關(guān)鍵的研究方向。特征選擇技術(shù)已經(jīng)廣泛應(yīng)用于很多應(yīng)用領(lǐng)域，如入侵檢測(cè)、生物醫(yī)學(xué)

2、、生態(tài)環(huán)境科學(xué)等方面。
　　基于支持向量機(jī)的特征回歸消減方法(Support Vector Machine-Recursive FeatureElimination，SVM-RFE)是一種常用特征選擇方法，它通過迭代刪除的順序?qū)μ卣鬟M(jìn)行排序。本文首先研究在SVM-RFE迭代特征刪除過程中選擇最優(yōu)特征子集的評(píng)價(jià)標(biāo)準(zhǔn)。為了更加準(zhǔn)確的評(píng)價(jià)特征子集，在后向迭代特征選擇過程中，采用準(zhǔn)確率和樣本的類重疊度綜合評(píng)價(jià)特征子集的區(qū)分能力。一個(gè)具有較

3、好區(qū)分能力的特征子集應(yīng)該具有較高的準(zhǔn)確率和較低的類重疊度。由此本文提出算法SVM-RFE-COA。此外在SVM-RFE的特征選擇過程中，SVM基于當(dāng)前的特征集和訓(xùn)練樣本建模，訓(xùn)練樣本的質(zhì)量會(huì)影響特征權(quán)值的計(jì)算，如果當(dāng)前特征空間下，樣本的類重疊度很高，可能發(fā)生會(huì)過擬合，影響對(duì)特征的評(píng)價(jià)，故在SVM-RFE-COA的基礎(chǔ)上提出算法M-SVM-RFE-COA，該算法在每次迭代刪除特征的過程中，暫時(shí)屏蔽那些相對(duì)于原始特征空間類重疊度增加較大的訓(xùn)

4、練樣本，以選出更具區(qū)分能力的特征子集。在11個(gè)公共數(shù)據(jù)上的結(jié)果表明，SVM-RFE-COA結(jié)合準(zhǔn)確率和樣本的類重疊度作為評(píng)價(jià)指標(biāo)比以準(zhǔn)確率作為評(píng)價(jià)指標(biāo)可以選出更具有區(qū)分能力的特征;并且M-SVM-RFE-COA在每次迭代選擇的過程中，暫時(shí)屏蔽那些相對(duì)于原始特征空間類重疊度增加較大的樣本，同樣提升了SVM-RFE-COA的特征選擇性能。
　　ERGS是一種基于特征有效區(qū)間的特征選擇算法，它計(jì)算特征在任意兩類樣本之間的重疊區(qū)域來評(píng)估特

5、征的區(qū)分能力。一個(gè)特征的重疊區(qū)域越大，特征的區(qū)分能力越弱。但ERGS忽略了特征在任何兩類樣本上的重疊區(qū)域占其中任一類樣本上有效區(qū)間的比例，這可能會(huì)影響對(duì)特征的評(píng)估。本文提出基于ERGS算法改進(jìn)的MERGS算法，它計(jì)算特征在任何兩類樣本上的重疊區(qū)域占其中任一類樣本的有效區(qū)間的比例來計(jì)算特征的基于有效區(qū)間重疊程度;并且對(duì)于每個(gè)特征，基于每個(gè)樣本在該特征處的近鄰中的異類樣本數(shù)所占比例，計(jì)算在整體樣本空間中該特征的基于近鄰中異類樣本所占比例的重