基于組合抽樣技術(shù)的集成學(xué)習(xí)算法研究與應(yīng)用.pdf

1、不平衡數(shù)據(jù)集分類和集成學(xué)習(xí)是當今機器學(xué)習(xí)領(lǐng)域的主要研究內(nèi)容。傳統(tǒng)分類方法大多基于訓(xùn)練數(shù)據(jù)集各類樣本的數(shù)目基本平衡和誤分類代價相同等假設(shè),以準確率為分類器性能評價指標,因此在解決不平衡數(shù)據(jù)集分類問題時大大降低了少數(shù)類的分類性能,模型的實際工程應(yīng)用效果不佳。
　　 不平衡數(shù)據(jù)集往往具有少數(shù)類數(shù)據(jù)絕對或相對稀少、噪聲數(shù)據(jù)干擾大、數(shù)據(jù)碎片多等特點,應(yīng)用單一分類器難以實現(xiàn)準確分類。提升不平衡數(shù)據(jù)集分類性能的方法主要包括數(shù)據(jù)重采樣、訓(xùn)練集劃

2、分、特征選擇、代價敏感學(xué)習(xí)、分類器集成、單類學(xué)習(xí)等方法。本文通過實驗分析單純依賴數(shù)據(jù)層面或算法改進層面的方法都不能較高地提高少數(shù)類的分類性能。目前常用的SMOTE等重采樣方法存在少數(shù)類分布稀疏、擴充數(shù)據(jù)盲目性、多數(shù)類信息損失等問題,Adaboost等集成學(xué)習(xí)方法也存在多數(shù)類過擬合或分類器性能退化問題。所以,有效提高少數(shù)類的分類精度并且不影響分類器總體分類性能是一個值得深入研究的課題。
　　 本文從改善不平衡數(shù)據(jù)集的數(shù)據(jù)分布、適當

3、的算法改進以及恰當?shù)姆诸惼餍阅茉u價等方面討論,提出了將組合重抽樣方法與改進Adaboost算法相結(jié)合的TSNIMA分類器集成算法。該算法根據(jù)樣本集內(nèi)部分布特性,在SMOTE重抽樣方法的基礎(chǔ)上自適應(yīng)選擇近鄰,從而實現(xiàn)在合成少數(shù)類樣本時減小少數(shù)類分布稀疏性對新樣本的影響程度,改善訓(xùn)練樣本集的不平衡度。由于Adaboost算法的特點是在學(xué)習(xí)階段根據(jù)分類器誤差的大小統(tǒng)一調(diào)整樣本權(quán)重,所以不適合解決不平衡數(shù)據(jù)集分類學(xué)習(xí)問題。本文針對不同類別的樣本

4、采用多種權(quán)重修改策略,有效防止了邊界樣本、噪聲數(shù)據(jù)在學(xué)習(xí)時對分類器性能的惡化,提高了少數(shù)類樣本的識別率。將所提出的算法在WEKA開源平臺上實現(xiàn),應(yīng)用UCI標準數(shù)據(jù)集中的不平衡數(shù)據(jù)進行驗證。實驗證明在多項分類器性能指標上,TSNIMA算法都優(yōu)于SMOTEBoost、Asymboost以及單一分類等方法。
　　 本文創(chuàng)新性地應(yīng)用這種組合抽樣與集成學(xué)習(xí)方法來解決實際工程中的煙葉香型分類問題。實驗證明,TSNIMA集成分類器在面對不平衡