基于誤差矢量化的選擇性神經(jīng)網(wǎng)絡集成方法的研究與應用.pdf

1、神經(jīng)網(wǎng)絡集成算法是一種非常有效的建模方法，算法通過訓練大量的子網(wǎng)絡并簡單結合其結論，能夠很大程度上提高網(wǎng)絡泛化結果的精度。增大子網(wǎng)間差異度是提高集成精度最有效的方法，而由于能夠影響神經(jīng)網(wǎng)絡的因素很多，當前學術界對差異度的認識并不統(tǒng)一。傳統(tǒng)方法獨立訓練各子網(wǎng)，子網(wǎng)間由于訓練過程中不存在交互，訓練出的子網(wǎng)差異度較小。
　　 本文將集成誤差輸出矢量化，從矢量的角度分析影響集成精度的因素，給出了基于誤差矢量的差異度計算公式，并提出基于誤

2、差矢量化的子網(wǎng)選擇方法。隨后提出了基于誤差矢量化的集成方法EVSNE(ErrorVectorizationbasedSelectiveNetworkEnsemble)，該方法在子網(wǎng)訓練同時考慮集成精度，通過訓練過程中在優(yōu)化目標值中加入懲罰項，使各子網(wǎng)輸出誤差矢量相互補償?shù)窒?。EVSNE算法在訓練過程中存在交互，子網(wǎng)差異度比傳統(tǒng)的Bagging方法更大。
　　 通過分析EVSNE算法與傳統(tǒng)的子集生成算法各自發(fā)揮作用的原理，得出兩類

3、方法可以結合，可以通過傳統(tǒng)方法生成具有差異度的訓練集，再通過EVSNE算法的交互過程來訓練子網(wǎng)，從而提出基于Bagging的改進方法B-EVSNE和基于聚類的改進方法C-EVSNE。在改進的EVSNE算法中，Bagging和聚類方法可以看成對EVSNE的數(shù)據(jù)預處理過程。
　　 為了確定參數(shù)、驗證算法，本文選取了6組標準數(shù)據(jù)對算法進行測試，6組數(shù)據(jù)均為神經(jīng)網(wǎng)絡常用的經(jīng)典測試集。通過實驗確定了EVSNE算法最合適的懲罰項參數(shù)取值與子