面向在線不均衡數(shù)據(jù)分類的極限學(xué)習(xí)機(jī)算法研究.pdf

1、在實(shí)際工程問題中，存在大量的類別不均衡問題，如故障診斷、網(wǎng)絡(luò)入侵檢測(cè)等。且該類問題具有明顯的時(shí)間特點(diǎn)，尤其是在大規(guī)模數(shù)據(jù)環(huán)境下，數(shù)據(jù)通常是按序到達(dá)，是一種典型的在線不均衡分類問題。極限學(xué)習(xí)機(jī)作為一種單隱層前饋神經(jīng)網(wǎng)絡(luò)，具有極端快速的特點(diǎn)，同時(shí)其泛化性能良好，可有效解決在線貫序數(shù)據(jù)的分類問題。然而，極限學(xué)習(xí)機(jī)通常是以提高樣本整體的分類精度為目標(biāo)，當(dāng)類別嚴(yán)重不均衡時(shí)，極易導(dǎo)致分類面偏移，造成“虛假”的分類效果。因此，本文將根據(jù)數(shù)據(jù)特點(diǎn)和應(yīng)用

2、需求，在前端充分采集數(shù)據(jù)和處理數(shù)據(jù)的基礎(chǔ)上，進(jìn)行后端機(jī)器學(xué)習(xí)理論和算法的研究，提出一系列更適合在線不均衡分類問題的算法。主要工作和貢獻(xiàn)如下:
　　(1)為提高不均衡在線貫序數(shù)據(jù)中少類樣本的分類精度，提出一種基于不均衡樣本重構(gòu)的加權(quán)在線極限學(xué)習(xí)機(jī)算法。該算法的關(guān)鍵是在提取數(shù)據(jù)分布特性的基礎(chǔ)上，對(duì)不均衡樣本重構(gòu)。為此，引入主曲線的概念，并在此基礎(chǔ)上改進(jìn)SMOTE方法，從而提高少類樣本的過采樣質(zhì)量，同時(shí)，為突出樣本重要性，采用動(dòng)態(tài)加權(quán)的

3、思想，根據(jù)訓(xùn)練誤差為在線樣本賦以相應(yīng)大小的權(quán)重。最終在不增加算法復(fù)雜度的前提下，對(duì)少類樣本的預(yù)測(cè)精度更高，同時(shí)數(shù)值穩(wěn)定性良好。
　　(2)針對(duì)現(xiàn)有分類算法泛化性能較低的問題，提出一種基于留一交叉驗(yàn)證的在線極限學(xué)習(xí)機(jī)算法，既實(shí)現(xiàn)了對(duì)在線泛化誤差的快速有效估計(jì)，又大大降低了時(shí)間復(fù)雜度。為解決在線樣本的不均衡問題，根據(jù)留一誤差進(jìn)行欠采樣，同時(shí)，為保證模型的簡(jiǎn)約性，采用增刪機(jī)制動(dòng)態(tài)更新網(wǎng)絡(luò)權(quán)值，并從信息熵的角度給出在線欠采樣過程中存在損失

4、信息上界，進(jìn)而從理論上證明了該算法的有效性。
　　(3)為進(jìn)一步提高不均衡在線數(shù)據(jù)中少類樣本的識(shí)別率，同時(shí)盡可能減少多類樣本的分類精度損失，提出一種基于混合采樣策略的在線極限學(xué)習(xí)機(jī)算法。該算法在遵循樣本分布特性的同時(shí)，根據(jù)樣本重要度指標(biāo)篩選最具價(jià)值的樣本點(diǎn)，實(shí)現(xiàn)樣本重構(gòu)。同時(shí)為保證模型的泛化性能，根據(jù)在線留一誤差進(jìn)行動(dòng)態(tài)模型調(diào)整，以確保最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，并通過理論分析和大量仿真實(shí)驗(yàn)證明該算法的合理性和有效性。
　　本文研究不僅拓