基于遷移過采樣的類別不平衡學(xué)習(xí)算法研究.pdf

1、類別不平衡問題是機(jī)器學(xué)習(xí)在很多真實世界應(yīng)用中面臨的一大挑戰(zhàn)，即分類問題中各類樣本數(shù)差異明顯，某些類別樣本數(shù)遠(yuǎn)遠(yuǎn)小于其他類別，而小類別是關(guān)注的重點(diǎn)。在類別不平衡學(xué)習(xí)中，性能評價準(zhǔn)則為AUC、F值或G-mean等，而非正確率。
　　隨機(jī)過采樣是一種簡單有效的類別不平衡學(xué)習(xí)方法，但它通常有過擬合風(fēng)險。為了降低過擬合風(fēng)險，SMOTE方法采用增加人工小類樣本的方式進(jìn)行過采樣，但可能會引入噪聲，并加重類間的“重疊”(overlapping)問

2、題，也就是說，人工樣本和真實樣本不是獨(dú)立同分布的。為了生成與真實數(shù)據(jù)分布更為一致的人工樣本，一系列改進(jìn)算法被提出，它們使用小類樣本的近鄰信息指導(dǎo)采樣過程，或者對真實數(shù)據(jù)分布進(jìn)行估計來生成小類樣本。然而，在小類樣本絕對稀少時，不管采用何種策略，都不能保證人工樣本完全服從真實數(shù)據(jù)分布。因此，有必要承認(rèn)人工樣本不服從真實數(shù)據(jù)分布，并由此引出了一個值得研究的問題:在小類樣本絕對稀少時，如何有效利用這些人工小類樣本解決類別不平衡問題。
　　

3、本文針對該問題進(jìn)行研究，考慮到人工小類樣本雖然與真實數(shù)據(jù)分布不完全一致，但它們具有高度相關(guān)性，因此使用遷移學(xué)習(xí)的思想有效利用與真實數(shù)據(jù)分布高度相關(guān)的人工小類樣本解決類別不平衡問題，主要做了以下工作:
　　1)提出了一種基于Boosting框架的類別不平衡學(xué)習(xí)算法TrasoBoost。該算法在每一輪迭代過程中分別降低和提高被學(xué)習(xí)器錯分的人工小類樣本和原始樣本的權(quán)重，而保持被正確分類的樣本權(quán)重不變。這樣在若干輪迭代后，非同分布的人工小

4、類樣本權(quán)重會逐漸降低，從而降低其對分類器的影響。實驗結(jié)果表明，TrasoBoost優(yōu)于多種流行的類別不平衡學(xué)習(xí)算法。
　　2)提出了一種基于大間隔的遷移學(xué)習(xí)算法TrSVMs。該算法對基于大間隔的遷移學(xué)習(xí)算法AUX-SVMs進(jìn)行了改進(jìn)，對源領(lǐng)域和目標(biāo)領(lǐng)域在一個優(yōu)化問題中分別學(xué)習(xí)分類超平面以降低源領(lǐng)域和目標(biāo)領(lǐng)域分布差異大帶來的困難。實驗結(jié)果表明，TrSVMs性能優(yōu)于AUX-SVMs。后續(xù)工作中將在TrSVMs算法的基礎(chǔ)上，有效利用非獨(dú)