神經(jīng)網(wǎng)絡(luò)集成中多樣性問題的研究.pdf

1、提高神經(jīng)網(wǎng)絡(luò)的泛化能力是神經(jīng)網(wǎng)絡(luò)設(shè)計與實現(xiàn)的基本問題之一。人們在利用神經(jīng)網(wǎng)絡(luò)解決分類和回歸問題時，通常采取具體問題具體分析的方式，通過大量費力耗時的實驗摸索，確定出合適的神經(jīng)網(wǎng)絡(luò)模型、算法以及參數(shù)設(shè)置。如何避開網(wǎng)絡(luò)的參數(shù)配置問題，從另一個角度來提高神經(jīng)網(wǎng)絡(luò)的泛化能力，具有顯著的意義。集成學(xué)習(xí)，為上述問題的解決提供了一個可行的方案。使用這種方法，可以通過訓(xùn)練多個神經(jīng)網(wǎng)絡(luò)并將其結(jié)果進行集成，來提高學(xué)習(xí)系統(tǒng)的泛化能力。本文的主要工作如下：

2、 (1)從神經(jīng)網(wǎng)絡(luò)敏感性的角度來研究集成學(xué)習(xí)。當前，大多數(shù)的集成學(xué)習(xí)是通過擾動數(shù)據(jù)集和調(diào)整神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)來獲得個體網(wǎng)絡(luò)之間的差異，從而集成網(wǎng)絡(luò)。我們以集成中個體網(wǎng)絡(luò)輸出敏感性的差異為基礎(chǔ)，提出了三種測量差異度的尺度和基于此的四種測量方法來選擇個體網(wǎng)絡(luò)，構(gòu)造集成。實驗表明基于敏感性的集成可以保持甚至提高集成的泛化能力同時降低集成中需要的個體網(wǎng)絡(luò)的個數(shù)。 (2)從概率的角度來研究集成學(xué)習(xí)中個體網(wǎng)絡(luò)的多樣性與集成準確率的關(guān)系。我們