誤差反向傳播

1、誤差反向傳播（ErrBackPropagationBP）算法1、BP算法的基本思想是，學(xué)習(xí)過程由信號的正向傳播與誤差的反向傳播兩個過程組成。1）正向傳播：輸入樣本－輸入層－各隱層（處理）－輸出層注1：若輸出層實際輸出與期望輸出（教師信號）不符，則轉(zhuǎn)入2）（誤差反向傳播過程）2）誤差反向傳播：輸出誤差（某種形式）－隱層（逐層）－輸入層其主要目的是通過將輸出誤差反傳，將誤差分?jǐn)偨o各層所有單元，從而獲得各層單元的誤差信號，進(jìn)而修正各單元的權(quán)值

2、（其過程，是一個權(quán)值調(diào)整的過程）。注2：權(quán)值調(diào)整的過程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程（學(xué)習(xí)也就是這么的由來，權(quán)值調(diào)整）。2、BP算法實現(xiàn)步驟（軟件）：1）初始化2）輸入訓(xùn)練樣本對，計算各層輸出3）計算網(wǎng)絡(luò)輸出誤差4）計算各層誤差信號5）調(diào)整各層權(quán)值6）檢查網(wǎng)絡(luò)總誤差是否達(dá)到精度要求滿足，則訓(xùn)練結(jié)束；不滿足，則返回步驟2）3、多層感知器（基于BP算法）的主要能力：1）非線性映射：足夠多樣本－學(xué)習(xí)訓(xùn)練能學(xué)習(xí)和存儲大量輸入－輸出模式映射關(guān)系。只要

3、能提供足夠多的樣本模式對供BP網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。2）泛化：輸入新樣本（訓(xùn)練是未有）－完成正確的輸入、輸出映射3）容錯：個別樣本誤差不能左右對權(quán)矩陣的調(diào)整4、標(biāo)準(zhǔn)BP算法的缺陷：1）易形成局部極小（屬貪婪算法，局部最優(yōu))而得不到全局最優(yōu)；2）訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低下，收斂速度慢（需做大量運算）；3）隱節(jié)點的選取缺乏理論支持；4）訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本趨勢。注3：改進(jìn)算法—增加動量

4、項、自適應(yīng)調(diào)整學(xué)習(xí)速率（這個似乎不錯)及引入陡度因子BP算法基本介紹含有隱層的多層前饋網(wǎng)絡(luò)能大大提高神經(jīng)網(wǎng)絡(luò)的分類能力，但長期以來沒有提出解決權(quán)值調(diào)整問題的游戲算法。1986年，Rumelhart和McCell領(lǐng)導(dǎo)的科學(xué)家小組在《ParallelDistributedProcessing》一可以使用試湊法，采用公式m=sqrt(nl）a，其中m為隱層結(jié)點數(shù)，n為輸入層結(jié)點數(shù)，l為輸出層結(jié)點數(shù)，a為1－5之間的常數(shù)。2編輯本段摘要ＢＰ神經(jīng)

5、網(wǎng)絡(luò)算法是在ＢＰ神經(jīng)網(wǎng)絡(luò)現(xiàn)有算法的基礎(chǔ)上提出的，是通過任意選定一組權(quán)值，將給定的目標(biāo)輸出直接作為線性方程的代數(shù)和來建立線性方程組，解得待求權(quán)，不存在傳統(tǒng)方法的局部極小及收斂速度慢的問題，且更易理解。編輯本段關(guān)鍵詞固定權(quán)值ｇａｕｓｓ消元法；ＢＰ算法人工神經(jīng)網(wǎng)絡(luò)（ａｒｔｉｆｉｃｉａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ，ＡＮＮ）系統(tǒng)是２０世紀(jì)４０年代后出現(xiàn)的，它是由眾多的神經(jīng)元可調(diào)的連接權(quán)值連接而成，具有大規(guī)模并行處理、分布式信息存儲、良好的自組織

6、自學(xué)習(xí)能力等特點，在信息處理、模式識別、智能控制及系統(tǒng)建模等領(lǐng)域得到越來越廣泛的應(yīng)用。尤其誤差反向傳播算法（ＥｒｒｏｒＢａｃｋ－ｐｒｏｐａｇａｔｉｏｎＴｒａｉｎｉｎｇ，簡稱ＢＰ網(wǎng)絡(luò)）可以逼近任意連續(xù)函數(shù)，具有很強的非線性映射能力，而且網(wǎng)絡(luò)的中間層數(shù)、各層的處理單元數(shù)及網(wǎng)絡(luò)的學(xué)習(xí)系數(shù)等參數(shù)可根據(jù)具體情況設(shè)定，靈活性很大，所以它在許多應(yīng)用領(lǐng)域中起到重要作用。近年來，為了解決ＢＰ神經(jīng)網(wǎng)絡(luò)收斂速度慢、不能保證收斂到全局最小點，網(wǎng)絡(luò)的中間層及它的

7、單元數(shù)選取無理論指導(dǎo)及網(wǎng)絡(luò)學(xué)習(xí)和記憶的不穩(wěn)定性等缺陷，提出了許多改進(jìn)算法。１傳統(tǒng)的ＢＰ算法簡述ＢＰ算法是一種有監(jiān)督式的學(xué)習(xí)算法，其主要思想是：輸入學(xué)習(xí)樣本，使用反向傳播算法對網(wǎng)絡(luò)的權(quán)值和偏差進(jìn)行反復(fù)的調(diào)整訓(xùn)練，使輸出的向量與期望向量盡可能地接近，當(dāng)網(wǎng)絡(luò)輸出層的誤差平方和小于指定的誤差時訓(xùn)練完成，保存網(wǎng)絡(luò)的權(quán)值和偏差。具體步驟如下：（１）初始化，隨機給定各連接權(quán)［ｗ］［ｖ］及閥值θi，ｒt。（２）由給定的輸入輸出模式對計算隱層、輸出層各單