基于成員相似性的集成極端學(xué)習(xí)機(jī)及其應(yīng)用.pdf

1、雖然極端學(xué)習(xí)機(jī)能夠在極短的時間內(nèi)獲得更優(yōu)的泛化性能，但因其輸入層權(quán)值和隱單元閾值是隨機(jī)選取的，從而使極端學(xué)習(xí)機(jī)的泛化性能受到影響。相對于單個分類器，集成分類器具有更優(yōu)的泛化性能和穩(wěn)定性。但大多數(shù)集成學(xué)習(xí)在選取成員分類器時未充分考慮成員間的差異度從而導(dǎo)致集成學(xué)習(xí)性能不高。為了提高集成成員間的差異性，本文提出了一類基于成員相似性的集成極端學(xué)習(xí)機(jī)。該類學(xué)習(xí)機(jī)利用微粒群算法結(jié)合成員間相似性對集成成員進(jìn)行優(yōu)選。同時，在集成成員優(yōu)選的基礎(chǔ)上提出了兩

2、種改進(jìn)的投票權(quán)值集成方法以進(jìn)一步提高集成系統(tǒng)的性能。最后將該類集成算法應(yīng)用于Benchmark數(shù)據(jù)和基因表達(dá)譜數(shù)據(jù)分類，取得了優(yōu)于傳統(tǒng)方法的分類性能。本文的主要工作如下:
　　1)提出了一類基于微粒群算法和相似性的成員極端學(xué)習(xí)機(jī)選擇方法。該方法在備選極端學(xué)習(xí)機(jī)庫中，運用微粒群算法優(yōu)選相似性低的成員學(xué)習(xí)機(jī)組合以增加集成系統(tǒng)的差異度，從而有利于提高集成系統(tǒng)的性能。在多個Benchmark數(shù)據(jù)集上的實驗結(jié)果表明，基于相似性選擇的集成系統(tǒng)

3、的差異度高于傳統(tǒng)的集成系統(tǒng)。
　　2)提出了兩個改進(jìn)的加權(quán)投票集成方法。其一、集成投票權(quán)重根據(jù)各成員極端學(xué)習(xí)機(jī)在驗證集上的識別率來設(shè)置，該方法充分考慮了成員學(xué)習(xí)機(jī)的分類能力。其二、集成投票權(quán)重通過極小范數(shù)最小二乘法來確定，以獲取理論上的最優(yōu)投票權(quán)值解。在多個Benchmark數(shù)據(jù)集上的實驗結(jié)果表明，基于這兩個改進(jìn)的加權(quán)投票集成方法的集成極端學(xué)習(xí)機(jī)比傳統(tǒng)集成極端學(xué)習(xí)機(jī)更優(yōu)的泛化性能、穩(wěn)定性以及更高的識別率。在基于這兩個集成方法的集成