基于集成學(xué)習(xí)的非平衡數(shù)據(jù)集分類問題的研究.pdf

1、非平衡數(shù)據(jù)集分類是近年來機(jī)器學(xué)習(xí)和模式識(shí)別領(lǐng)域研究的熱點(diǎn)問題之一。在實(shí)際應(yīng)用中這種非平衡數(shù)據(jù)分類問題很常見，如衛(wèi)星圖像檢測(cè)油井噴發(fā)、罕見病例的醫(yī)療診斷、網(wǎng)絡(luò)入侵檢測(cè)、交易欺詐識(shí)別、惡意欠費(fèi)識(shí)別等。因此，提高分類器在非平衡數(shù)據(jù)集上的分類性能和泛化能力具有重要價(jià)值和現(xiàn)實(shí)意義。
　　由于非平衡數(shù)據(jù)集中類別數(shù)量上的嚴(yán)重傾斜和分布不均衡，基于傳統(tǒng)的分類算法不太適合直接用來處理非平衡數(shù)據(jù)集。因此，人們?cè)跀?shù)據(jù)層面通過改變類分布狀況和在算法層面通

2、過改進(jìn)算法提高分類性能兩個(gè)角度進(jìn)行改進(jìn)，雖然分類性能得到了改進(jìn)，但是正類的分類精度仍普遍較低。當(dāng)前采用集成學(xué)習(xí)的方式對(duì)非平衡數(shù)據(jù)集進(jìn)行研究，已經(jīng)取得一定的成效，但是分類性能有待進(jìn)一步提高。
　　為解決上述問題，本文主要做了以下研究工作：
　　受“最富信息”策略的啟發(fā)，重點(diǎn)從關(guān)注錯(cuò)分的正類樣本入手從數(shù)據(jù)層面和算法層面相結(jié)合的角度提出了集成學(xué)習(xí)改進(jìn)方案一和方案二。
　　其中方案一針對(duì)類別非平衡數(shù)據(jù)的分布特點(diǎn)先運(yùn)用KSMOT

3、E重抽樣技術(shù)在特征空間中合成一定量的正類樣本，在改善原始數(shù)據(jù)集的傾斜狀況的基礎(chǔ)上，采用上抽樣KSMOTE和下抽樣Bootstrap相結(jié)合的方式構(gòu)建相對(duì)平衡的訓(xùn)練集。根據(jù)分類代價(jià)的不同分別賦予正負(fù)類樣本不同的權(quán)值，然后在AdaBoost集成框架下以 SVM作為弱分類器進(jìn)行集成訓(xùn)練，從而達(dá)到更好的分類效果與泛化能力。通過在15個(gè)UCI數(shù)據(jù)集上將所提出的方案一與AdaBoostMI和ENSVM算法進(jìn)行對(duì)比實(shí)驗(yàn)，證實(shí)了所提出的方案一在分類性能上

4、優(yōu)于AdaBoostMI和ENSVM。
　　方案二則是以AdaBoost為主要框架，利用重抽樣技術(shù)KSMOTE在特征空間合成分類困難的正類樣本，根據(jù)分類代價(jià)的不同分別初始化正負(fù)類樣本不同的權(quán)值，然后以SVM為弱分類器進(jìn)行集成學(xué)習(xí)。在訓(xùn)練的過程中是在訓(xùn)練樣本集的基礎(chǔ)上應(yīng)用KSMOTE重抽樣技術(shù)在特征空間合成分類困難的正類樣本集，而不是在訓(xùn)練初期應(yīng)用KSMOTE改變?cè)挤瞧胶鈹?shù)據(jù)集，而且通過在訓(xùn)練過程中每次循環(huán)時(shí)將前一步的誤分類樣本參