反向傳播網(wǎng)絡(luò)(bp網(wǎng)絡(luò))

1、反向傳播網(wǎng)絡(luò)（反向傳播網(wǎng)絡(luò)（BP網(wǎng)絡(luò)）網(wǎng)絡(luò)）1概述概述前面介紹了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和模型，在實際應(yīng)用中，我們用的最廣泛的是反向傳播網(wǎng)絡(luò)（BP網(wǎng)絡(luò)）。下面就介紹一下BP網(wǎng)絡(luò)的結(jié)構(gòu)和應(yīng)用。BP網(wǎng)絡(luò)是采用WidrowHoff學習算法和非線性可微轉(zhuǎn)移函數(shù)的多層網(wǎng)絡(luò)。一個典型的BP網(wǎng)絡(luò)采用的是梯度下降算法，也就是WidrowHoff算法所規(guī)定的。backpropagation就是指的為非線性多層網(wǎng)絡(luò)計算梯度的方法?，F(xiàn)在有許多基本的優(yōu)化算法，例如變尺度

2、算法和牛頓算法。神經(jīng)網(wǎng)絡(luò)工具箱提供了許多這樣的算法。這一章我們將討論使用這些規(guī)則和這些算法的優(yōu)缺點。一個經(jīng)過訓練的BP網(wǎng)絡(luò)能夠根據(jù)輸入給出合適的結(jié)果，雖然這個輸入并沒有被訓練過。這個特性使得BP網(wǎng)絡(luò)很適合采用輸入目標對進行訓練，而且并不需要把所有可能的輸入目標對都訓練過。為了提高網(wǎng)絡(luò)的適用性，神經(jīng)網(wǎng)絡(luò)工具箱提供了兩個特性規(guī)則化和早期停止。這兩個特性和用途我們將在這一章的后面討論。這一章還將討論網(wǎng)絡(luò)的預(yù)處理和后處理技術(shù)以提高網(wǎng)絡(luò)訓練效率。

3、2基礎(chǔ)基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)前一章已詳細討論過，前饋型BP網(wǎng)絡(luò)的結(jié)構(gòu)結(jié)構(gòu)和它基本相同，這里就不再詳細論述了，這里著重說明以下幾點：1常用的前饋型BP網(wǎng)絡(luò)的轉(zhuǎn)移函數(shù)有l(wèi)ogsig，tansig，有時也會用到線性函數(shù)purelin。當網(wǎng)絡(luò)的最后一層采用曲線函數(shù)時，輸出被限制在一個很小的范圍內(nèi)，如果采用線性函數(shù)則輸出可為任意值。以上三個函數(shù)是BP網(wǎng)絡(luò)中最常用到的函數(shù)，但是如果需要的話你也可以創(chuàng)建其他可微的轉(zhuǎn)移函數(shù)。2在BP網(wǎng)絡(luò)中，

4、轉(zhuǎn)移函數(shù)可求導(dǎo)是非常重要的，tansig、logsig和purelin都有對應(yīng)的導(dǎo)函數(shù)dtansig、dlogsig和dpurelin。為了得到更多轉(zhuǎn)移函數(shù)的導(dǎo)函數(shù)，你可以帶字符“deriv“的轉(zhuǎn)移函數(shù)：tansig(deriv)ans=dtansig網(wǎng)絡(luò)構(gòu)建和初始化網(wǎng)絡(luò)構(gòu)建和初始化訓練前饋網(wǎng)絡(luò)的第一步是建立網(wǎng)絡(luò)對象。函數(shù)newff建立一個可訓練的前饋網(wǎng)絡(luò)。這需要4個輸入?yún)?shù)。第一個參數(shù)是一個Rx2的矩陣以定義R個輸入向量的最小值和最大

5、值。第二個參數(shù)是一個顢頇每層神經(jīng)元個數(shù)的數(shù)組。第三個參數(shù)是包含每層用到的轉(zhuǎn)移函數(shù)名稱的細胞數(shù)組。最后一個參數(shù)是用到的訓練函數(shù)的名稱。舉個例子，下面命令將創(chuàng)建一個二層網(wǎng)絡(luò)其網(wǎng)絡(luò)模型如下圖所示。它的輸入是兩個元素的向量，第一層有三個神經(jīng)元，第二層有一個神經(jīng)元。第一層的轉(zhuǎn)移函數(shù)是tansigmoid，輸出層的轉(zhuǎn)移函數(shù)是linear。輸入向量的第一個元素的范圍是1到2，輸入向量的第二個元素的范圍是0到5，訓練函數(shù)是traingd。技術(shù)決定，它要

6、通過網(wǎng)絡(luò)實現(xiàn)反向計算。反向傳播計算源自使用微積分的鏈規(guī)則?；镜姆聪騻鞑ニ惴ǖ臋?quán)重沿著梯度的負方向移動，這將在下一節(jié)講述。以后的章節(jié)將講述更復(fù)雜的算法以提高收斂速度。反向傳播算法反向傳播算法反向傳播算法中有許多變量，這一章將討論其中的一些。反向傳播學習算法最簡單的應(yīng)用是沿著性能函數(shù)最速增加的方向梯度的負方向更新權(quán)重和偏置。這種遞歸算法可以寫成：xk1=xkakgk這里xk是當前權(quán)重和偏置向量，gk是當前梯度，ak是學習速率。有兩種不同的

7、辦法實現(xiàn)梯度下降算法：增加模式和批處理模式。在增加模式中，網(wǎng)絡(luò)輸入每提交一次，梯度計算一次并更新權(quán)重。在批處理模式中，當所有的輸入都被提交后網(wǎng)絡(luò)才被更新。下面兩節(jié)將討論增加模式和批處理模式。增加模式訓練法（增加模式訓練法（ADAPT）函數(shù)adapt用來訓練增加模式的網(wǎng)絡(luò)，它從訓練設(shè)置中接受網(wǎng)絡(luò)對象、網(wǎng)絡(luò)輸入和目標輸入，返回訓練過的網(wǎng)絡(luò)對象、用最后的權(quán)重和偏置得到的輸出和誤差。這里有幾個網(wǎng)絡(luò)參數(shù)必須被設(shè)置，第一個是.adaptFcn，它決

8、定使用哪一種增加模式函數(shù)，缺省值為adaptwb，這個值允許每一個權(quán)重和偏置都指定它自己的函數(shù)，這些單個的學習函數(shù)由參數(shù).biasesij.learnFcn、.inputWeightsij.learnFcn、.layerWeightsij.learnFcn和GradientDescent(LEARDGD)來決定。對于基本的梯度最速下降算法，權(quán)重和偏置沿著性能函數(shù)的梯度的負方向移動。在這種算法中，單個的權(quán)重和偏置的學習函數(shù)設(shè)定為“l(fā)ear

9、ngd“。下面的命令演示了怎樣設(shè)置前面建立的前饋函數(shù)參數(shù)：.biases11.learnFcn=learngd.biases21.learnFcn=learngd.layerWeights21.learnFcn=learngd.inputWeights11.learnFcn=learngd函數(shù)learngd有一個相關(guān)的參數(shù)學習速率lr。權(quán)重和偏置的變化通過梯度的負數(shù)乘上學習速率倍數(shù)得到。學習速率越大，步進越大。如果學習速率太大算法就會變

10、得不穩(wěn)定。如果學習速率太小，算法就需要很長的時間才能收斂。當learnFcn設(shè)置為learngd時，就為每一個權(quán)重和偏置設(shè)置了學習速率參數(shù)的缺省值，如上面的代碼所示，當然你也可以自己按照意愿改變它。下面的代碼演示了把層權(quán)重的學習速率設(shè)置為0.2。我們也可以為權(quán)重和偏置單獨的設(shè)置學習速率。.layerWeights21.learnParam.lr=0.2為有序訓練設(shè)置的最后一個參數(shù)是.adaptParam.passes，它決定在訓練過程中

11、訓練值重復(fù)的次數(shù)。這里設(shè)置重復(fù)次數(shù)為200.adaptParam.passes=200現(xiàn)在我們就可以開始訓練網(wǎng)絡(luò)了。當然我們要指定輸入值和目標值如下所示：p=[11220505]t=[1111]如果我們要在每一次提交輸入后都更新權(quán)重，那么我們需要將輸入矩陣和目標矩陣轉(zhuǎn)變?yōu)榧毎麛?shù)組。每一個細胞都是一個輸入或者目標向量。p=num2cell(p1)t=num2cell(t1)現(xiàn)在就可以用adapt來實現(xiàn)增加方式訓練了:[ae]=adapt(