人工神經(jīng)樹網(wǎng)絡模型的優(yōu)化研究與應用.pdf

1、人工神經(jīng)網(wǎng)絡是模擬生物神經(jīng)網(wǎng)絡進行信息處理的一種數(shù)學模型，是由大量神經(jīng)元廣泛互連而成的網(wǎng)絡，其目在于通過模擬大腦的某些功能機制，實現(xiàn)一些特定的功能。人工神經(jīng)網(wǎng)絡以其具有大規(guī)模并行處理、容錯性、自組織和自適應能力等特點，己成為解決復雜問題的有效工具。目前，已存在的神經(jīng)網(wǎng)絡模型有很多，其中多層前饋神經(jīng)網(wǎng)絡是研究和應用較多的模型之一。它是由簡單神經(jīng)單元構(gòu)成的具有明顯層次結(jié)構(gòu)的網(wǎng)絡模型，且有良好的非線性品質(zhì)，靈活有效的學習方式，較強的非線性系統(tǒng)

2、模擬能力，因此被廣泛的應用于系統(tǒng)辨識、數(shù)據(jù)挖掘、信號處理、故障診斷等領(lǐng)域。盡管Hornik等證明了僅需一個具有單隱含層的前饋神經(jīng)網(wǎng)絡就可以逼近任意復雜度的函數(shù)，但是如何找到合理的神經(jīng)網(wǎng)絡結(jié)構(gòu)和相應參數(shù)取值卻是一個NP-hard問題。因此，多層前饋神經(jīng)網(wǎng)絡仍然存在一些難題:首先，在網(wǎng)絡拓撲結(jié)構(gòu)設計方面，網(wǎng)絡隱層數(shù)及各隱層隱節(jié)點數(shù)的選擇，通常根據(jù)實際問題采用“經(jīng)驗法”或“適湊法”來確定，具有較強的不確定性，然而神經(jīng)網(wǎng)絡的泛化能力很大程度上取

3、決于神經(jīng)網(wǎng)絡拓撲結(jié)構(gòu)的設計，因此傳統(tǒng)網(wǎng)絡結(jié)構(gòu)設計方法容易導致神經(jīng)網(wǎng)絡的泛化能力差；在網(wǎng)絡參數(shù)優(yōu)化方面，傳統(tǒng)的基于梯度下降的誤差反傳算法雖然有良好的數(shù)學理論支撐，但是仍然存在收斂速度慢、易陷入局部最優(yōu)、對參數(shù)初始值敏感等缺點，極大的限制了多層前饋神經(jīng)網(wǎng)絡的應用。
　　針對多層前饋人工神經(jīng)網(wǎng)絡的特點、存在的問題以及相關(guān)技術(shù)的研究趨勢，本論文研究了一種新的基于樹編碼的人工神經(jīng)網(wǎng)絡模型:神經(jīng)樹網(wǎng)絡模型及其優(yōu)化問題，并對其在數(shù)據(jù)挖掘領(lǐng)域中的

4、典型應用做了深入的探討。
　　本文主要研究內(nèi)容概述如下:
　　1、針對神經(jīng)樹網(wǎng)絡模型在實際應用中遇到的問題及特點，從以下兩個方面對神經(jīng)樹網(wǎng)絡模型的描述進行研究和改進:
　　(1)對神經(jīng)樹網(wǎng)絡模型定義的改進:解決了模型中函數(shù)節(jié)點的孩子節(jié)點中終端節(jié)點重復導致過多無效個體產(chǎn)生的問題以及神經(jīng)樹網(wǎng)絡模型的最大深度設置問題。
　　(2)根據(jù)神經(jīng)樹網(wǎng)絡模型的自身特點，給出了一種新的神經(jīng)樹網(wǎng)絡模型元組描述法，為神經(jīng)樹網(wǎng)絡模型提供

5、了一個方便和科學的描述方法。
　　2、通過研究目前關(guān)于神經(jīng)樹網(wǎng)絡模型拓撲結(jié)構(gòu)和參數(shù)已有的優(yōu)化方法，從以下三個方面對其優(yōu)化方法進行研究和改進:
　　(1)在神經(jīng)樹網(wǎng)絡模型拓撲結(jié)構(gòu)優(yōu)化方面:提出了基于積木塊庫的改進遺傳規(guī)劃算法、基于層次可變概率向量的PIPE算法和基于樹編碼的粒子群優(yōu)化算法。相關(guān)仿真實驗表明，上述方法可以有效的減少進化過程中無效個體的產(chǎn)生，提高神經(jīng)樹網(wǎng)絡模型的進化收斂速度和誤差精度。
　　(2)在神經(jīng)樹網(wǎng)絡

6、模型參數(shù)優(yōu)化方面:引入差分進化算法，該算法具有控制參數(shù)少、實現(xiàn)容易、不易陷入局部極小等特點，非常適合神經(jīng)樹網(wǎng)絡模型的參數(shù)優(yōu)化。
　　(3)在神經(jīng)樹網(wǎng)絡模型拓撲結(jié)構(gòu)優(yōu)化和參數(shù)優(yōu)化協(xié)調(diào)方面:針對目前先拓撲結(jié)構(gòu)優(yōu)化后參數(shù)優(yōu)化學習策略可能產(chǎn)生的“干擾適應度評價”問題，提出了一種改進的BGP算法，實現(xiàn)了神經(jīng)樹網(wǎng)絡模型拓撲結(jié)構(gòu)和參數(shù)的同時優(yōu)化。相關(guān)仿真實驗表明，該算法能有效的提高神經(jīng)樹網(wǎng)絡模型的進化收斂速度和誤差精度。
　　3、結(jié)合集成

7、學習提出了神經(jīng)樹網(wǎng)絡集成的概念，對神經(jīng)樹網(wǎng)絡集成在數(shù)據(jù)挖掘領(lǐng)域中的分類和預測問題上的應用進行了研究并提出了若干相關(guān)模型:
　　(1)在分類問題方面:提出了一種以神經(jīng)樹網(wǎng)絡模型為基本分類器的神經(jīng)樹網(wǎng)絡集成方法，以“輸出結(jié)果處理法”為主要研究對象，構(gòu)建了基于糾錯碼的神經(jīng)樹網(wǎng)絡集成分類模型，同時給出了該集成分類模型的算法設計和工作流程，最后在若干 UCI數(shù)據(jù)集上對該集成分類模型的有效性和優(yōu)越性進行了實驗驗證；另外，提出了基于Baggin

8、g和Boosting的神經(jīng)樹網(wǎng)絡集成分類模型，同時給出了兩種集成分類模型的算法設計及其在若干 UCI數(shù)據(jù)集上的仿真實驗對比。
　　(2)在預測問題方面:提出了基于Bagging和Boosting的神經(jīng)樹網(wǎng)絡集成預測模型，并以非線性函數(shù)模擬為應用對象，與相關(guān)模型的性能分別進行了仿真實驗對比。
　　4、根據(jù)神經(jīng)樹網(wǎng)絡模型研究的實驗需求，結(jié)合面向?qū)ο蠹夹g(shù)和軟件 Matlab R2008a，在Visual Studio。NET200