基于madaline的神經(jīng)網(wǎng)絡(luò)系統(tǒng)課程設(shè)計(jì)

1、<p>　　軟件質(zhì)量控制與測試課程設(shè)計(jì)報(bào)告</p><p>　　( 2011 -- 2012 年度第 一 學(xué)期)</p><p>　　課程名稱： 軟件質(zhì)量控制與測試課程設(shè)計(jì)報(bào)告</p><p>　　題 目： 基于madaline的神經(jīng)網(wǎng)絡(luò)系統(tǒng) </p><p>　　院 系： 計(jì)算機(jī)科學(xué)與技術(shù)系 <

2、/p><p>　　班 級： </p><p>　　學(xué) 號： </p><p>　　姓 名： </p><p>　　指導(dǎo)教師： </p><p>　　設(shè)計(jì)周數(shù)：

3、 兩周 </p><p>　　日期：2012 年 5月 4日</p><p><b>　　一.任務(wù)書</b></p><p><b>　　1.項(xiàng)目背景</b></p><p>　　人工神經(jīng)網(wǎng)絡(luò)也稱為神經(jīng)或稱作連接模型，是對人腦或自然神經(jīng)網(wǎng)絡(luò)若干基本特性的抽象和模擬。人工神

4、經(jīng)網(wǎng)絡(luò)以對大腦的生理研究成果為基礎(chǔ)，其目的在于模擬大腦的某些機(jī)理與機(jī)制，實(shí)現(xiàn)某個(gè)方面的功能。神經(jīng)網(wǎng)絡(luò)的分類有多種方法：按結(jié)構(gòu)分有前饋神經(jīng)網(wǎng)絡(luò)和后饋神經(jīng)網(wǎng)絡(luò);按應(yīng)用功能來分有局部逼近網(wǎng)絡(luò)和全局逼近網(wǎng)絡(luò)。</p><p><b>　　2.要求</b></p><p><b>　　2.1目的和用途</b></p><p>　　實(shí)

5、現(xiàn)網(wǎng)絡(luò)計(jì)算，并輸出網(wǎng)絡(luò)分別在訓(xùn)練樣本和測試樣本上的性能值。</p><p>　　2.2主要內(nèi)容和組成</p><p>　　一．輸入界面的設(shè)計(jì)包括如下：</p><p>　　(1)輸入數(shù)據(jù)，其中數(shù)據(jù)的格式可分為.xls,.doc,.txt.提供數(shù)據(jù)可分為訓(xùn)練樣本和測試樣本，訓(xùn)練樣本中已經(jīng)包含了輸入數(shù)據(jù)和本身的輸出數(shù)據(jù)。測試樣本中只有輸入數(shù)據(jù)。</p>&

6、lt;p>　　(2)輸入的數(shù)據(jù)想通過上傳文件的格式，并且能夠一次性上傳多個(gè)文件，在沒有人得干預(yù)下，讓它自己進(jìn)行訓(xùn)練與測試。</p><p>　　(3)在此軟件上能夠任意的設(shè)置輸入維數(shù)的參數(shù)。</p><p>　　(4)在軟件輸入界面上要設(shè)有樣本的個(gè)數(shù)，能夠通過人工的預(yù)設(shè)。</p><p>　　二．輸出界面的設(shè)計(jì)包括如下：</p><p>

7、;<b>　　(1)學(xué)習(xí)性能</b></p><p><b>　　(2)測試性能</b></p><p><b>　　(3)樣本成功率</b></p><p>　　(4)測試樣本成功率</p><p><b>　　(5)學(xué)習(xí)效率</b></p>

8、<p><b>　　(6)范化性能</b></p><p><b>　　(7)實(shí)際迭代次數(shù)</b></p><p><b>　　(8)學(xué)習(xí)性能</b></p><p>　　(9)輸出數(shù)據(jù)，其中輸出數(shù)據(jù)為-1，和1，因?yàn)榭紤]到輸出的多樣性，而且數(shù)據(jù)范圍比較大。-1是表示在訓(xùn)練數(shù)據(jù)時(shí)輸出的數(shù)

9、據(jù)與預(yù)期的數(shù)據(jù)不一致時(shí)呈現(xiàn)的結(jié)果。1是表示的在訓(xùn) 練數(shù)據(jù)時(shí)輸出的數(shù)據(jù)與預(yù)期的數(shù)據(jù)一致時(shí)呈現(xiàn)的結(jié)果。</p><p><b>　　二.需求分析</b></p><p><b>　　1.需要實(shí)現(xiàn)的功能</b></p><p>　　文件復(fù)制，文件移動(dòng)，目錄創(chuàng)建，文件瀏覽，文件上傳下載，程序運(yùn)行，插件安裝，插件卸載，整體卸載等遠(yuǎn)程

10、控制功能，端口更換，密碼更換等系統(tǒng)功能</p><p><b>　　2.界面要求</b></p><p>　　界面使用知識流界面模式，知識流界面提供默認(rèn)與自定義配置結(jié)合，而此界面所能帶來的優(yōu)勢為可針對多種用戶，并且上手容易。并在有可能的情況下提供多種的語言包，使軟件國際化具有可操作性。</p><p><b>　　三.總體設(shè)計(jì)<

11、/b></p><p>　　1.感知器神經(jīng)元模型</p><p>　　感知器神經(jīng)元通過對權(quán)值的訓(xùn)練，可以使感知器神經(jīng)元的輸出能代表對輸入模式進(jìn)行的分類，下圖為感知器神經(jīng)元模型。</p><p>　　感知器神經(jīng)元的每一個(gè)輸入都對應(yīng)于一個(gè)合適的權(quán)值，所有的輸入與其對應(yīng)權(quán)值的加權(quán)和作為閥值函數(shù)的輸入。由于閥值函數(shù)的引入，從而使得感知器可以將輸入向量分為兩個(gè)區(qū)域，通常

12、閥函數(shù)采用雙極階躍函數(shù)，如：</p><p><b>　?。?.1）</b></p><p>　　而感知器神經(jīng)元模型的實(shí)際輸出為</p><p><b>　?。?.2）</b></p><p><b>　　其中b為閥值</b></p><p>　　2.感

13、知器的網(wǎng)絡(luò)結(jié)構(gòu)</p><p>　　圖2.2所描述的是一個(gè)簡單的感知器網(wǎng)絡(luò)結(jié)構(gòu)，輸入層有R個(gè)輸入，Q個(gè)輸出，通過權(quán)值wij與s個(gè)感知器神經(jīng)元連接組成的感知器神經(jīng)網(wǎng)絡(luò)。</p><p>　　根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)，可以寫出感知器處理單元對其輸入的加權(quán)和操作，即：</p><p><b>　?。?.3）</b></p><p><

14、;b>　　而其輸出ai為</b></p><p>　　ai=f (ni+bi) （3.4）</p><p><b>　　由式2.1易知</b></p><p><b>　?。?.5）</b></p><p>　　則當(dāng)輸入ni+bi

15、大于等于0，即有ni≥－bi時(shí)，感知器的輸出為1；否則輸出為0。</p><p>　　上面所述的單層感知器神經(jīng)網(wǎng)絡(luò)是不可能解決線性不可分的輸入向量分類問題，也不能推廣到一般的前向網(wǎng)絡(luò)中去。為解決這一問題，我們可以設(shè)計(jì)多層感知器神經(jīng)網(wǎng)絡(luò)以實(shí)現(xiàn)任意形狀的劃分。</p><p>　　圖2.3描述了一個(gè)雙層感知器神經(jīng)網(wǎng)絡(luò)。其工作方式與單層感知器網(wǎng)絡(luò)一樣，只不過是增加了一層而已，具體的內(nèi)容這里不做討

16、論。</p><p><b>　　四.詳細(xì)設(shè)計(jì)</b></p><p>　　1.自適應(yīng)線性神經(jīng)元模型和結(jié)構(gòu)</p><p>　　一個(gè)線性的具有r個(gè)輸人的自適應(yīng)線性神經(jīng)元模型如下圖所示。這個(gè)神經(jīng)元有一個(gè)線性激活函數(shù)，被稱為Adaline如圖4．1(a)所示。和感知器一樣，偏差可以用來作為網(wǎng)絡(luò)的一個(gè)可調(diào)參數(shù)，提供額外可調(diào)的自由變量以獲得期望的網(wǎng)絡(luò)特

17、性。線性神經(jīng)元可以訓(xùn)練學(xué)習(xí)一個(gè)與之對應(yīng)的輸入輸出的函數(shù)關(guān)系，或線性逼近任意一個(gè)非線性函數(shù)，但它不能產(chǎn)生任何非線性的計(jì)算特性。</p><p>　　圖4. 1 自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)</p><p>　　當(dāng)自適應(yīng)線性網(wǎng)絡(luò)由s個(gè)神經(jīng)元相并聯(lián)形成一層網(wǎng)絡(luò)，此自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)又稱為Madallne如圖4．1(b)所示。</p><p>　　W—H規(guī)則僅能夠訓(xùn)練單層網(wǎng)絡(luò)

18、，但這并不是什么嚴(yán)重問題。如前面所述，單層線性網(wǎng)絡(luò)與多層線性網(wǎng)絡(luò)具有同樣的能力，即對于每一個(gè)多層線性網(wǎng)絡(luò)，都具有一個(gè)等效的單層線性網(wǎng)絡(luò)與之對應(yīng)。在反向傳播法產(chǎn)生以后，威德羅又將其自適應(yīng)線性網(wǎng)絡(luò)擴(kuò)展成多層，甚至將激活函數(shù)也擴(kuò)展成非線性的了。</p><p><b>　　2.W－H學(xué)習(xí)規(guī)則</b></p><p>　　W—H學(xué)習(xí)規(guī)則是由威德羅和霍夫提出的用來修正權(quán)矢量的學(xué)

19、習(xí)規(guī)則，所以用他們兩人姓氏的第一個(gè)字母來命名。采用W—H學(xué)習(xí)規(guī)則可以用來訓(xùn)練一定網(wǎng)絡(luò)的權(quán)值和偏差使之線性地逼近一個(gè)函數(shù)式而進(jìn)行模式聯(lián)想(Pattern Association)。</p><p>　　定義一個(gè)線性網(wǎng)絡(luò)的輸出誤差函數(shù)為：</p><p><b>　　（4.1）</b></p><p>　　由(4．1)式可以看出：線性網(wǎng)絡(luò)具有拋物線

20、型誤差函數(shù)所形成的誤差表面，所以只有一個(gè)誤差最小值。通過W—H學(xué)習(xí)規(guī)則來計(jì)算權(quán)值和偏差的變化，并使網(wǎng)絡(luò)誤差的平方和最小化，總能夠訓(xùn)練一個(gè)網(wǎng)絡(luò)的誤差趨于這個(gè)最小值。另外很顯然，E(W，B)只取決于網(wǎng)絡(luò)的權(quán)值及目標(biāo)矢量。我們的目的是通過調(diào)節(jié)權(quán)矢量，使E(W，B)達(dá)到最小值。所以在給定E(W，B)后，利用W—H學(xué)習(xí)規(guī)則修正權(quán)矢量和偏差矢量，使E(W，B)從誤差空間的某一點(diǎn)開始，沿著E(W，B)的斜面向下滑行。根據(jù)梯度下降法，權(quán)矢量的修正值正比

21、于當(dāng)前位置上E(W，B)的梯度，對于第i個(gè)輸出節(jié)點(diǎn)有：</p><p><b>　　(4.2)</b></p><p><b>　　或表示為：</b></p><p><b>　　(4.3)</b></p><p>　　這里定義為第i個(gè)輸出節(jié)點(diǎn)的誤差：

22、 </p><p><b>　　(4.4)</b></p><p>　　(4.3)式稱為W—H學(xué)習(xí)規(guī)則，又叫δ規(guī)則，或?yàn)樽钚【讲钏惴ǎ↙MS）。W—H學(xué)習(xí)規(guī)則的權(quán)值變化量正比于網(wǎng)絡(luò)的輸出誤差及網(wǎng)絡(luò)的輸入矢量。它不需求導(dǎo)數(shù)，所以算法簡單，又具有收斂速度快和精度高的優(yōu)點(diǎn)。</p>

23、<p>　　(4.5)式中的η為學(xué)習(xí)速率。在一般的實(shí)際運(yùn)用中，實(shí)踐表明，η通常取一接近1的數(shù)，或取值為：</p><p><b>　?。?.5）</b></p><p>　　這樣的選擇可以達(dá)到既快速又正確的結(jié)果。</p><p>　　學(xué)習(xí)速率的這一取法在神經(jīng)網(wǎng)絡(luò)工具箱中用函數(shù)maxlinlr.m來實(shí)現(xiàn)。(4.5)式可實(shí)現(xiàn)為：</

24、p><p>　　其中l(wèi)r為學(xué)習(xí)速率。</p><p>　　W—H學(xué)習(xí)規(guī)則的函數(shù)為：learnwh.m來實(shí)現(xiàn)，另外，加上線性自適應(yīng)網(wǎng)絡(luò)輸出函數(shù)purelin.m，可以寫出W—H學(xué)習(xí)規(guī)則的計(jì)算公式為：</p><p>　　A＝purelin(W*P)；</p><p><b>　　E＝T—A；</b></p>&l

25、t;p>　　[dW，dB]＝learnwh(P，E，h)；</p><p><b>　　W＝W十dW；</b></p><p><b>　　B＝B十dB；</b></p><p>　　采用W—H規(guī)則訓(xùn)練自適應(yīng)線性元件使其能夠得以收斂的必要條件是被訓(xùn)練的輸入矢量必須是線性獨(dú)立的，且應(yīng)適當(dāng)?shù)剡x擇學(xué)習(xí)速率以防止產(chǎn)生振蕩現(xiàn)象

26、。</p><p><b>　　3.網(wǎng)絡(luò)訓(xùn)練</b></p><p>　　自適應(yīng)線性元件的網(wǎng)絡(luò)訓(xùn)練過程可以歸納為以下三個(gè)步驟：</p><p>　　1)表達(dá)：計(jì)算訓(xùn)練的輸出矢量A＝W*P十B，以及與期望輸出之間的誤差E＝T—A；</p><p>　　2)檢查：將網(wǎng)絡(luò)輸出誤差的平方和與期望誤差相比較，如果其值小于期望誤差，

27、或訓(xùn)練已達(dá)到事先設(shè)定的最大訓(xùn)練次數(shù)，則停止訓(xùn)練；否則繼續(xù)；</p><p>　　3)學(xué)習(xí)：采用W—H學(xué)習(xí)規(guī)則計(jì)算新的權(quán)值和偏差，并返回到1)。</p><p>　　每進(jìn)行一次上述三個(gè)步驟，被認(rèn)為是完成一個(gè)訓(xùn)練循環(huán)次數(shù)。</p><p>　　如果網(wǎng)絡(luò)訓(xùn)練獲得成功，那么當(dāng)一個(gè)不在訓(xùn)練中的輸入矢量輸入到網(wǎng)絡(luò)中時(shí)，網(wǎng)絡(luò)趨于產(chǎn)生一個(gè)與其相聯(lián)想的輸出矢量。這個(gè)特性被稱為泛化，這

28、在函數(shù)逼近以及輸入矢量分類的應(yīng)用中是相當(dāng)有用的。</p><p>　　如果經(jīng)過訓(xùn)練，網(wǎng)絡(luò)仍不能達(dá)到期望目標(biāo)，可以有兩種選擇：或檢查一下所要解決的問題，是否適用于線性網(wǎng)絡(luò)；或?qū)W(wǎng)絡(luò)進(jìn)行進(jìn)一步的訓(xùn)練。</p><p>　　雖然只適用于線性網(wǎng)絡(luò)，W—H學(xué)習(xí)規(guī)則仍然是重要的，因?yàn)樗宫F(xiàn)了梯度下降法是如何來訓(xùn)練一個(gè)網(wǎng)絡(luò)的，此概念后來發(fā)展成反向傳播法，使之可以訓(xùn)練多層非線性網(wǎng)絡(luò)。</p>

29、<p>　　采用Matlab進(jìn)行自適應(yīng)線性元件網(wǎng)絡(luò)的訓(xùn)練過程如下：</p><p><b>　?。ケ磉_(dá)式</b></p><p>　　A=purelin(W*P，B);</p><p><b>　　E=T-A；</b></p><p>　　SSE＝sumsqr(E);％求誤差平方和

30、</p><p>　　for epoch＝1: max_epoch％循環(huán)訓(xùn)練</p><p>　　if SSE＜err_goal％比較誤差</p><p>　　epoch＝epoch—1；</p><p>　　break％若滿足期望誤差要求，結(jié)束訓(xùn)練</p><p><b>　　end</b

31、></p><p>　　[dlw，dB]＝1earnwh(P，E，lr)；％修正權(quán)值</p><p><b>　　W＝W十dW；</b></p><p><b>　　B＝B十dB;</b></p><p>　　A＝purelin(W*P，B)；％網(wǎng)絡(luò)輸出</p><p&

32、gt;<b>　　E＝T-A；</b></p><p>　　SSE＝sumsqr(E)；％計(jì)算網(wǎng)絡(luò)誤差平方和</p><p><b>　　end</b></p><p>　　同樣，工具箱中設(shè)計(jì)了一個(gè)名為trainwh.m的函數(shù)可以替代上述整個(gè)訓(xùn)練過程。</p><p>　　如果仍用在輸入空間作

33、圖法來解釋自適應(yīng)線性元件網(wǎng)絡(luò)的功能，它可以解釋為用W*P十B＝0的界面通過給出的輸入矢量組成的空間(點(diǎn)或線)，或線性地逼近這些輸入矢量。</p><p><b>　　五.編碼</b></p><p>　　現(xiàn)在來考慮一個(gè)較大的多神經(jīng)元網(wǎng)絡(luò)的模式聯(lián)想的設(shè)計(jì)問題。輸入矢量和目標(biāo)矢量分別為：</p><p><b>　　解答過程如下：<

34、/b></p><p>　　由輸入矢量和目標(biāo)輸出矢量可得：r＝3，s＝4，q＝4。所以網(wǎng)絡(luò)的結(jié)構(gòu)如圖5.1所示。</p><p>　　圖5.1 網(wǎng)絡(luò)設(shè)計(jì)的結(jié)構(gòu)圖</p><p>　　這個(gè)問題的求解同樣可以采用線性方程組求出，即對每一個(gè)輸出節(jié)點(diǎn)寫出輸入和輸出之間的關(guān)系等式。對于網(wǎng)絡(luò)每一個(gè)輸出神經(jīng)元都有4個(gè)變量(三個(gè)權(quán)值加一個(gè)偏差)，有四個(gè)限制方程(每組輸入對應(yīng)四

35、個(gè)輸出值)。這樣由四個(gè)輸出節(jié)點(diǎn)，共產(chǎn)生16個(gè)方程，其方程數(shù)目與權(quán)值數(shù)目相等。所以只要輸入矢量是線性獨(dú)立的，則同時(shí)滿足這16個(gè)方程的權(quán)值存在且唯一。對應(yīng)到網(wǎng)絡(luò)上來說，則存在零誤差的精確權(quán)值。</p><p>　　實(shí)際上要求出這16個(gè)方程的解是需要花費(fèi)一定的時(shí)間的，甚至是不太容易的。對于一些實(shí)際問題，常常并不需要求出其完美的零誤差時(shí)的解。也就是說允許存在一定的誤差。在這種情況下，采用自適應(yīng)線性網(wǎng)絡(luò)求解就顯示出它的優(yōu)越

36、性：因?yàn)樗梢院芸斓赜?xùn)練出滿足一定要求的網(wǎng)絡(luò)權(quán)值。對于有完美解的網(wǎng)絡(luò)設(shè)計(jì)，通過對期望誤差平方和的選定，也能通過加長訓(xùn)練次數(shù)來獲得。</p><p>　　下面給出設(shè)計(jì)程序。為了便于對比，在程序中增加了以下幾項(xiàng)：</p><p>　　1)訓(xùn)練前由初始權(quán)值所得到的誤差平方和；</p><p>　　2)最終誤差及訓(xùn)練次數(shù)的顯示；</p><p>　　

37、3)整個(gè)訓(xùn)練過程中的網(wǎng)絡(luò)誤差的記錄顯示；</p><p><b>　　4)最終權(quán)值。</b></p><p><b>　　％wf2.m</b></p><p><b>　?。?lt;/b></p><p>　　P=[1 1.5 1.2 –0.3; -1 2 3 –0.5; 2 1 –

38、1.6 0.9];</p><p>　　T=[0.5 3 –2.2 1.4; 1.1 –1.2 1.7 –0.4; 3 0.2 –1.8 –0.4; -1 0.1 –1.0 0.6];</p><p>　　disp_freq=400;％中間不顯示結(jié)果</p><p>　　max_epoch=400;</p><p>　　er

39、r_goal=0.001;</p><p>　　lr=0.9*maxlinlr(P);</p><p>　　W=[1.9978 –0.5959 –0.3517; 1.5543 0.05331 1.3660;%初始權(quán)值</p><p>　　1.0672 0.3645 –0.9227; -0.7747 1.3839 –0.3384];</p>&l

40、t;p>　　B=[0.0746; -0.0642; -0.4256; -0.6433];</p><p>　　SSE＝sumsqr(T-purelin(W*P，B)); %未訓(xùn)練前誤差</p><p>　　fprintf(‘Before trainihg, sum squared error=％g. \n’, SSE)</p><p><b&g

41、t;　?。ビ?xùn)練網(wǎng)絡(luò)</b></p><p><b>　　flops(0)</b></p><p>　　tp＝[disp_freq max_epoch err_goal lr]; %設(shè)置參數(shù)變量tp</p><p>　　[W, B, epochs，errors]＝trainwh(W, B, P, T, tp); %進(jìn)

42、行線性網(wǎng)絡(luò)權(quán)值訓(xùn)練</p><p>　　W ％顯示最終訓(xùn)練權(quán)矢量</p><p>　　B ％顯示最終訓(xùn)練偏差矢量</p><p>　　SSE＝sumsqr(T-purelin(W*P, B))； ％最終誤差</p><p>　　％顯示結(jié)果并給出結(jié)論</p><p

43、>　　ploterr(errors), </p><p>　　fprintf (‘\n After％.0f epochs，sum squared e error＝％g. \n\n’, SSE),</p><p>　　fprintf (‘Training took ％.0f flops. \n’, flops),</p><p>　　fprintf (‘ Tra

44、ined network operates：’);</p><p>　　if SSE＜err_goal</p><p>　　disp(‘Adequately.’)</p><p><b>　　else</b></p><p>　　disp(‘Inadequately.’)</p><p><

45、b>　　end</b></p><p><b>　　end</b></p><p>　　運(yùn)行wf2.m在訓(xùn)練274次循環(huán)后其誤差平方和達(dá)到0.000993245，而初始誤差為144.463。在整個(gè)訓(xùn)練過程中誤差的變化走向如圖5．2所示。</p><p>　　訓(xùn)練后的網(wǎng)絡(luò)權(quán)值為：</p><p>　　圖5

46、．2 網(wǎng)絡(luò)訓(xùn)練過程中的誤差記錄</p><p>　　對于存在零誤差的精確權(quán)值網(wǎng)絡(luò)，若用函數(shù)solvelin.m來求解，則更加簡單如下：</p><p><b>　　％wf3.m</b></p><p><b>　?。?lt;/b></p><p>　　P＝[1 1.5 1.2 –0.3; -1 2 3

47、–0.5; 2 1 –1.6 0.9];</p><p>　　T＝[0.5 3 –2.2 1.4; 1.1 –1.2 1.7 –0.4; 3 0.2 –1.8 -0.4; -1 0.1 –1.0 0.6];</p><p>　　[W，B]＝solvelin(P,T);</p><p>　　A＝simulin (P, W, B);</p><p&g

48、t;　　SSE＝sumsqr (T-A)</p><p><b>　　W</b></p><p><b>　　B</b></p><p><b>　　end</b></p><p>　　由此可得零誤差的唯一精確解為：</p><p>　　通?？梢灾苯拥嘏?/p>