基于分布估計編程的靈活神經(jīng)樹研究及其應(yīng)用.pdf

1、人工神經(jīng)網(wǎng)絡(luò)由于其大規(guī)模并行處理、容錯性、自組織和自適應(yīng)能力和聯(lián)想功能強等特點，成為解決很多問題的有力工具，并且已經(jīng)廣泛應(yīng)用在函數(shù)逼近、系統(tǒng)識別和控制、信號和圖像處理及時間序列預(yù)測等許多科學(xué)和工程領(lǐng)域。 在應(yīng)用神經(jīng)網(wǎng)絡(luò)時，設(shè)計一個神經(jīng)網(wǎng)絡(luò)主要包括神經(jīng)網(wǎng)絡(luò)模型的選擇及其參數(shù)的確定。傳統(tǒng)的設(shè)計方法是根據(jù)經(jīng)驗來設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)和確定網(wǎng)絡(luò)的參數(shù)。神經(jīng)網(wǎng)絡(luò)的參數(shù)可以用許多方法學(xué)習(xí)得到，如誤差反向傳播算法，遺傳算法，進化編程和隨機搜索算法等。通

2、常神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)決定著它的性能，網(wǎng)絡(luò)結(jié)構(gòu)是用節(jié)點之間是否連接的方式來表明的，但網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計目前還沒有規(guī)律可循。由于所要解決的問題性質(zhì)不同，神經(jīng)網(wǎng)絡(luò)使用的場合和要求也不一樣。另外，神經(jīng)網(wǎng)絡(luò)可能的隱含層數(shù)目、每一層的結(jié)點個數(shù)以及他們之間的連接方式都是無界的，因此，結(jié)構(gòu)空間是無限的，對其搜索十分困難，一般只能根據(jù)實際要求和設(shè)計者的經(jīng)驗選擇一個較為理想的結(jié)構(gòu)。 近年來，許多學(xué)者致力于實現(xiàn)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)的自動優(yōu)化的研究。本文研究的靈

3、活神經(jīng)樹就是一種網(wǎng)絡(luò)結(jié)構(gòu)和相關(guān)參數(shù)自動優(yōu)化的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。 本文系統(tǒng)地介紹了神經(jīng)網(wǎng)絡(luò)、分布估計編程和神經(jīng)樹的基本理論、構(gòu)成和實現(xiàn)方法，在總結(jié)前人研究的基礎(chǔ)上，提出了一種用分布估計編程來優(yōu)化神經(jīng)樹結(jié)構(gòu)的方法，首次在優(yōu)化神經(jīng)樹的結(jié)構(gòu)時引入了結(jié)點之間的相互作用和聯(lián)系。具體內(nèi)容如下： (1)闡述了課題研究的意義，分析了當(dāng)前該領(lǐng)域的發(fā)展動態(tài)。概述了神經(jīng)網(wǎng)絡(luò)的特點、產(chǎn)生和發(fā)展歷史，著重介紹了神經(jīng)網(wǎng)絡(luò)的基本理論和發(fā)展歷史，然后從理論和

4、應(yīng)用研究上綜述神經(jīng)網(wǎng)絡(luò)的研究現(xiàn)狀，總結(jié)了神經(jīng)網(wǎng)絡(luò)設(shè)計中的難點問題。 (2)介紹了分布估計編程。首先概述了分布估計算法的基本思想，介紹了分布估計算法的特點及其發(fā)展，然后詳細闡述了分布估計編程的基本理論基礎(chǔ)以及實現(xiàn)方法。 (3)研究了神經(jīng)樹的特點和實現(xiàn)方法。介紹了采用分布估計編程結(jié)合參數(shù)優(yōu)化算法，如遺傳算法、粒子群優(yōu)化算法等來建立神經(jīng)樹模型的方法。 (4)將基于分布估計編程的神經(jīng)樹模型應(yīng)用于時間序列預(yù)測和分類預(yù)測等領(lǐng)