BP算法的改進及其應(yīng)用.pdf

1、人工神經(jīng)網(wǎng)絡(luò)是近年來的熱點研究領(lǐng)域，其應(yīng)用領(lǐng)域諸多，包括：信息處理、材料學(xué)、交通、經(jīng)濟等，并在不斷拓展。在眾多的神經(jīng)網(wǎng)絡(luò)中，又以BP(BACK-PROPAGATION，簡稱BP)神經(jīng)網(wǎng)絡(luò)的應(yīng)用最為廣泛，它所采用的基于誤差逆?zhèn)鞑サ膶W(xué)習算法也被廣泛運用于各種神經(jīng)網(wǎng)絡(luò)之中。這類學(xué)習算法具有很好非線性映射能力、泛化能力和容錯能力。但由于BP算法采用梯度下降算法作為學(xué)習算法規(guī)則，因而存在收斂速度慢以及容易陷入局部極小等缺點，而且它的網(wǎng)絡(luò)結(jié)構(gòu)也沒有

2、統(tǒng)一的理論作為指導(dǎo)，這些缺點極大的影響了BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用和普及。
　　 本文分析研究了BP算法的原理、相關(guān)改進方法。在此基礎(chǔ)上，分別構(gòu)想了一種基于誤差率的復(fù)合誤差函數(shù)用于改善BP算法容易陷入局部極小值的缺陷和一種分層動態(tài)對學(xué)習率進行調(diào)整的方法用于提高BP算法的收斂速度。最后從算法融合的角度出發(fā)，在對標準遺傳算法的關(guān)鍵算子進行了改進的基礎(chǔ)上，構(gòu)造了一種基于改進遺傳算法的BP神經(jīng)網(wǎng)絡(luò)模型。本文的主要研究工作如下：
　　 (

3、1)回顧了BP神經(jīng)網(wǎng)絡(luò)的生物神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)，對人工神經(jīng)網(wǎng)絡(luò)理論進行概述。其中重點研究了BP神經(jīng)網(wǎng)絡(luò)模型，對其推導(dǎo)過程進行了詳細分析，論述了該算法的局限性，為下步改進奠定基礎(chǔ)。
　　 (2)針對BP算法存在的容易陷入局部極小值現(xiàn)象，構(gòu)想了一種基于誤差率的復(fù)合誤差函數(shù)。該復(fù)合誤差函數(shù)將隱含層的特殊性考慮進來，定義了隱含層的誤差函數(shù)Ehidden，定義了衡量誤差大小的因子-誤差率。以誤差率為權(quán)重，根據(jù)輸出層和隱含層的誤差大小，對權(quán)值

4、進行最適合的調(diào)整，從而保證算法始終能對權(quán)值進行最合適的調(diào)整；針對BP算法存在的收斂速度過慢現(xiàn)象，構(gòu)想了一種分層動態(tài)調(diào)整學(xué)習率的方法。該方法為隱含層和輸出層分別設(shè)置了不同學(xué)習率，并且會根據(jù)誤差大小，以及誤差的趨勢分別對隱含層和輸出層的學(xué)習率進行動態(tài)調(diào)整。這就有效的避免了標準BP算法中，靜態(tài)學(xué)習率帶來的收斂速度過慢問題。
　　 (3)將擅長全局搜索的的遺傳算法和局部尋優(yōu)能力較強的BP算法相結(jié)合，構(gòu)造了一種基于改進的遺傳算法的BP神經(jīng)