反向傳播算法

1、反向傳播算法反向傳播算法神經元j在迭代n時（即呈現第n個訓練例子）輸出誤差信號定義如下：e(n)=d(n)y(n)神經元j是輸出節(jié)點jjj（4.1）我們將神經元j的誤差能量瞬間定義為（12）e(n）。相應的，整個誤差能量的瞬間值2j即為輸出層的所以神經元的誤差能量瞬間值的和；這些只是那些誤差信號可被直接計)(n?算的“可見”神經元。因此，的計算公式是)(n?=（4.2）)(n???cjjne)(212集合C包括網絡輸出層的所以神經元。令

2、N記為包含在訓練集中模式（例子）的總數。對所有n求的和然后關于集的大小規(guī)整化即得的均方誤差能量，表示為)(n?=（4.3）av???NnnN1)(1?誤差能量的瞬間值和誤差能量的平均值是網絡所有自由參數（即突觸權值和偏置)(n?av?水平）的函數。對下一個給定的訓練集，表示的代價函數作為學習性能的一個度量。av?學習過程的目的是調整網絡的自由參數使得最小化。要達到這種最小化，我們使用第av?3章推導LMS算法所用原理相似的一個逼近。特別

3、地，我們考慮一個訓練的簡單方法，即權值在一個模式接一個模式的基礎更新，知道一個回合（epoch)結束，也就是整個訓練集的完全表示已被網絡處理。權值的調整根據每個呈現給網絡的模式所計算的各自的誤差進行。因此，這些單個權值在訓練集上的改變的算術平均，是基于使整個訓練集的代價函數最小化的真實權值改變的一種估計。av?然后考慮圖43，它描繪神經元j被它左邊的一層神經元產生的一組函數信號所饋給。因此，在神經元j的激活函數輸入處產生的誘導局部域是)

4、(nj?（4.4）???miijijnynwnv0)()()(接著，在式（4.5）兩邊對取微分，得到)(nj?（4.9）))(()()(nnnyjjjj??????最后，在式（4.4）兩邊對取微分，得到)(nwji（4.10）)()()(nynwnjjij????將式（4.7）至（4.10）代入式（4.6），得到（4.11）)())(()()()(nynnenwnijjjji???????應用于的修正由delta法則定義為)(nwji)

5、(nwji?（4.12）)()()(nwnnwjiji??????其中是反向傳播算法的學習率參數。式（4.12）中負號的使用意味著在權空間中梯度下?降（即尋找一個使得值下降的權值改變的方向）。于是將（4.11)代入（4.12）中得到)(n?（4.13）)()()(nynnwijji????這里局域梯度定義為)(nj?(4.14)))(()()()()()()()()(nnennynynenennjjjjjjjjjj???????????