2023年全國碩士研究生考試考研英語一試題真題(含答案詳解+作文范文)_第1頁
已閱讀1頁,還剩57頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第5講Hopfield網(wǎng)絡(luò),何建華電信系,華中科技大學(xué)2003年3月3日,2024/3/25,2,一、反饋網(wǎng)絡(luò)二、Hopfield網(wǎng)絡(luò)簡介三、DHNN網(wǎng)絡(luò)四、穩(wěn)定性與應(yīng)用五、內(nèi)容小結(jié),內(nèi)容安排,2024/3/25,3,反饋網(wǎng)絡(luò)如何通過網(wǎng)絡(luò)神經(jīng)元狀態(tài)的變遷而最終穩(wěn)定于平衡狀態(tài),得到聯(lián)想存儲或優(yōu)化計算的結(jié)果關(guān)心網(wǎng)絡(luò)的穩(wěn)定性問題研究重點(diǎn)為怎樣得到和利用穩(wěn)定的反饋網(wǎng)絡(luò),要點(diǎn),2024/3/25

2、,4,1.1 反饋網(wǎng)絡(luò)簡介1.2 網(wǎng)絡(luò)穩(wěn)定性,一、反饋網(wǎng)絡(luò),2024/3/25,5,,1.1 反饋網(wǎng)絡(luò)簡介,反饋網(wǎng)絡(luò)(Recurrent Network),又稱自聯(lián)想記憶網(wǎng)絡(luò)其目的是為了設(shè)計一個網(wǎng)絡(luò),儲存一組平衡點(diǎn),使得當(dāng)給網(wǎng)絡(luò)一組初始值時,網(wǎng)絡(luò)通過自行運(yùn)行而最終收斂到這個設(shè)計的平衡點(diǎn)上。 反饋網(wǎng)絡(luò)能表現(xiàn)出非線性動力學(xué)系統(tǒng)動態(tài)特性網(wǎng)絡(luò)系統(tǒng)具有若干個穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運(yùn)動,網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個穩(wěn)定的平衡狀態(tài);

3、系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過設(shè)計網(wǎng)絡(luò)的權(quán)值而被存儲到網(wǎng)絡(luò)中,2024/3/25,6,,1.1 反饋網(wǎng)絡(luò)簡介,反饋網(wǎng)絡(luò)分類如果激活函數(shù)f(·)是一個二值型的硬函數(shù),即ai=sgn(ni),i=l, 2, … r,則稱此網(wǎng)絡(luò)為離散型反饋網(wǎng)絡(luò);如果f(·)為一個連續(xù)單調(diào)上升的有界函數(shù),這類網(wǎng)絡(luò)被稱為連續(xù)型反饋網(wǎng)絡(luò),2024/3/25,7,,1.2 網(wǎng)絡(luò)穩(wěn)定性,狀態(tài)軌跡設(shè)狀態(tài)矢量N=[n1, n2, …,nr],網(wǎng)絡(luò)的

4、輸出矢量為A=[a1,a2…,as]T 在一個r維狀態(tài)空間上,可以用一條軌跡來描述狀態(tài)變化情況從初始值N(t0)出發(fā),N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt),這些在空間上的點(diǎn)組成的確定軌跡,是演化過程中所有可能狀態(tài)的集合,我們稱這個狀態(tài)空間為相空間,2024/3/25,8,,1.2 網(wǎng)絡(luò)穩(wěn)定性,狀態(tài)軌跡離散與連續(xù)軌跡,2024/3/25,9,,1.2 網(wǎng)絡(luò)穩(wěn)定性,狀態(tài)軌跡分類:對于不同的連接權(quán)值wij和輸入P

5、j(i, j=1, 2, … r),反饋網(wǎng)絡(luò)可能出現(xiàn)不同性質(zhì)的狀態(tài)軌跡軌跡為穩(wěn)定點(diǎn)軌跡為極限環(huán)軌跡為混沌現(xiàn)象軌跡發(fā)散,2024/3/25,10,,1.2 網(wǎng)絡(luò)穩(wěn)定性,穩(wěn)定軌跡狀態(tài)軌跡從系統(tǒng)在t0時狀態(tài)的初值N(t0)開始,經(jīng)過一定的時間t(t>0)后,到達(dá)N(t0+t)。如果N(t0+t+Δt)=N(t0+t),Δt>0,則狀態(tài)N(t0+t)稱為網(wǎng)絡(luò)的穩(wěn)定點(diǎn),或平衡點(diǎn)反饋網(wǎng)絡(luò)從任一初始態(tài)P(0)開始運(yùn)動,若存在某一有限時刻t

6、,從t以后的網(wǎng)絡(luò)狀態(tài)不再發(fā)生變化(P(t+Δt)= P(t),Δt>0)則稱網(wǎng)絡(luò)是穩(wěn)定的 處于穩(wěn)定時的網(wǎng)絡(luò)狀態(tài)叫做穩(wěn)定狀態(tài),又稱為定吸引子,2024/3/25,11,,1.2 網(wǎng)絡(luò)穩(wěn)定性,穩(wěn)定點(diǎn)分類在一個反饋網(wǎng)絡(luò)中,存在很多穩(wěn)定點(diǎn)穩(wěn)定點(diǎn)收斂域漸近穩(wěn)定點(diǎn):在穩(wěn)定點(diǎn)Ne周圍的N(σ)區(qū)域內(nèi),從任一個初始狀態(tài)N(t0)出發(fā),當(dāng)t→∞時都收斂于Ne,則稱Ne為漸近穩(wěn)定點(diǎn)不穩(wěn)定平衡點(diǎn)Nen:在某些特定的軌跡演化過程中,網(wǎng)絡(luò)能夠到達(dá)穩(wěn)定點(diǎn)

7、Nen,但對其它方向上任意小的區(qū)域N(σ),不管N(σ)取多么小,其軌跡在時間t以后總是偏離Nen; 期望解網(wǎng)絡(luò)的解:如果網(wǎng)絡(luò)最后穩(wěn)定到設(shè)計人員期望的穩(wěn)定點(diǎn),且該穩(wěn)定點(diǎn)又是漸近穩(wěn)定點(diǎn),那么這個點(diǎn)稱為網(wǎng)絡(luò)的解; 網(wǎng)絡(luò)的偽穩(wěn)定點(diǎn):網(wǎng)絡(luò)最終穩(wěn)定到一個漸近穩(wěn)定點(diǎn)上,但這個穩(wěn)定點(diǎn)不是網(wǎng)絡(luò)設(shè)計所要求的解,2024/3/25,12,,1.2 網(wǎng)絡(luò)穩(wěn)定性,狀態(tài)軌跡為極限環(huán)在某些參數(shù)的情況下,狀態(tài)N(t)的軌跡是一個圓,或一個環(huán)狀態(tài)N(t)沿著

8、環(huán)重復(fù)旋轉(zhuǎn),永不停止,此時的輸出A(t)也出現(xiàn)周期變化(即出現(xiàn)振蕩)如果在r種狀態(tài)下循環(huán)變化,稱其極限環(huán)為r對于離散反饋網(wǎng)絡(luò),軌跡變化可能在兩種狀態(tài)下來回跳動,其極限環(huán)為2,2024/3/25,13,,1.2 網(wǎng)絡(luò)穩(wěn)定性,狀態(tài)軌跡為混沌如果狀態(tài)N(t)的軌跡在某個確定的范圍內(nèi)運(yùn)動,但既不重復(fù),又不能停下來狀態(tài)變化為無窮多個,而軌跡也不能發(fā)散到無窮遠(yuǎn),這種現(xiàn)象稱為混沌(chaos)出現(xiàn)混沌的情況下,系統(tǒng)輸出變化為無窮多個,并且隨

9、時間推移不能趨向穩(wěn)定,但又不發(fā)散,2024/3/25,14,,1.2 網(wǎng)絡(luò)穩(wěn)定性,狀態(tài)軌跡發(fā)散狀態(tài)N(t)的軌跡隨時間一直延伸到無窮遠(yuǎn)。此時狀態(tài)發(fā)散,系統(tǒng)的輸出也發(fā)散在人工神經(jīng)網(wǎng)絡(luò)中,由于輸入、輸出激活函數(shù)上一個有界函數(shù),雖然狀態(tài)N(t)是發(fā)散的,但其輸出A(t)還是穩(wěn)定的,而A(t)的穩(wěn)定反過來又限制了狀態(tài)的發(fā)散。一般非線性人工神經(jīng)網(wǎng)絡(luò)中發(fā)散現(xiàn)象是不會發(fā)生的,除非神經(jīng)元的輸入輸出激活函數(shù)是線性的,2024/3/25,15,,1.

10、3 網(wǎng)絡(luò)工作方式,目前的反饋神經(jīng)網(wǎng)絡(luò)是利用穩(wěn)定的特定軌跡來解決某些問題如果視系統(tǒng)的穩(wěn)定點(diǎn)為一個記憶,則從初始狀態(tài)朝此穩(wěn)定點(diǎn)移動的過程即為尋找該記憶的過程狀態(tài)的初始值可以認(rèn)為是給定的有關(guān)該記憶的部分信息,狀態(tài)N(t)移動的過程,是從部分信息去尋找全部信息,這就是聯(lián)想記憶的過程將系統(tǒng)的穩(wěn)定點(diǎn)考慮為一個能量函數(shù)的極小點(diǎn)。在狀態(tài)空間中,從初始狀態(tài)N(t0)=N(t0+t),最后到達(dá)N*。若N*為穩(wěn)定點(diǎn),則可以看作是N*把N(t0)吸引了過

11、去,在N(t0)時能量比較大,而吸引到N*時能量已為極小了,2024/3/25,16,,1.3 網(wǎng)絡(luò)工作方式,考慮具體應(yīng)用,可以將能量的極小點(diǎn)作為一個優(yōu)化目標(biāo)函數(shù)的極小點(diǎn),把狀態(tài)變化的過程看成是優(yōu)化某一個目標(biāo)函數(shù)的過程因此反饋網(wǎng)絡(luò)的狀態(tài)移動的過程實際上是一種計算聯(lián)想記憶或優(yōu)化的過程。它的解并不需要真的去計算,只需要形成一類反饋神經(jīng)網(wǎng)絡(luò),適當(dāng)?shù)卦O(shè)計網(wǎng)絡(luò)權(quán)值wij,使其初始輸入A(t0)向穩(wěn)定吸引子狀態(tài)移動就可以達(dá)到目的,2024/3/

12、25,17,,1.3 網(wǎng)絡(luò)工作方式,權(quán)值設(shè)計目標(biāo)網(wǎng)絡(luò)系統(tǒng)能夠達(dá)到穩(wěn)定收斂設(shè)計網(wǎng)絡(luò)的穩(wěn)定點(diǎn) 設(shè)計吸引域,2024/3/25,18,,二、Hopfield網(wǎng)絡(luò)簡介,2.1 網(wǎng)絡(luò)模型2.2 DHNN2.3 CHNN2.4 聯(lián)想記憶與優(yōu)化計算,2024/3/25,19,,2.1 網(wǎng)絡(luò)模型,,2024/3/25,20,,2.1 網(wǎng)絡(luò)模型,分類離散Hopfield網(wǎng)絡(luò)(DHNN)連續(xù)Hopfield網(wǎng)絡(luò)(CHNN),DHNN中的激活

13、函數(shù) CHNN中的激活函數(shù),2024/3/25,21,,2.2 DHNN,DHNN取b=0,wii=0權(quán)矩陣中有wij=wji,,2024/3/25,22,,2.2 DHNN,DHNN網(wǎng)絡(luò)結(jié)構(gòu)可以用一個加權(quán)元向量圖表示,2024/3/25,23,,2.3 CHNN,將霍普菲爾德網(wǎng)絡(luò)推廣到輸入和輸出都取連續(xù)數(shù)值的情形網(wǎng)絡(luò)的基本結(jié)構(gòu)不變,狀態(tài)輸出方程形式上也相同。則網(wǎng)絡(luò)的狀態(tài)轉(zhuǎn)移方程可寫為,2024/

14、3/25,24,,2.3 CHNN,神經(jīng)元的激活函數(shù)f為S型的函數(shù)(或線性飽和函數(shù)),2024/3/25,25,,2.3 CHNN,神經(jīng)元的激活函數(shù)f為S型的函數(shù)(或線性飽和函數(shù)),2024/3/25,26,,2.3 CHNN,電路實現(xiàn)神經(jīng)元模型(見參見教材)電阻Ri和電容Ci并聯(lián),模擬生物神經(jīng)元輸出的時間常數(shù)跨導(dǎo)Tij模擬神經(jīng)元之間互連的突觸特性運(yùn)算放大器模擬神經(jīng)元的非線性特性ui為第i個神經(jīng)元的輸入,Vi為輸出網(wǎng)絡(luò)模型,

15、2024/3/25,27,,2.3 CHNN,定義系統(tǒng)計算能量定理推論 系統(tǒng)的穩(wěn)定平衡點(diǎn)就是能量函數(shù)E的極小點(diǎn),反之亦然,2024/3/25,28,,2.3 CHNN,定理系統(tǒng)在狀態(tài)空間中正交穩(wěn)定平衡點(diǎn)的任意放置可以通過Tij的學(xué)習(xí)來實現(xiàn)增加存儲與消除記憶如果在已設(shè)計的系統(tǒng)中加入一個新的存儲,只要修正Tij,新的存儲的加入并不改變原有的存儲,且與原存儲無關(guān),2024/3/25,29,,2.4 聯(lián)想記憶與優(yōu)化計算,

16、聯(lián)想記憶問題穩(wěn)定狀態(tài)已知并且通過學(xué)習(xí)和設(shè)計算法尋求合適的權(quán)值矩陣將穩(wěn)定狀態(tài)存儲到網(wǎng)絡(luò)中優(yōu)化計算權(quán)值矩陣W已知,目的為尋找具有最小能量E的穩(wěn)定狀態(tài)主要工作為設(shè)計相應(yīng)的W和能量函數(shù)公式,2024/3/25,30,,三、DHNN,3.1 神經(jīng)元狀態(tài)更新方式3.2 網(wǎng)絡(luò)學(xué)習(xí)3.3 網(wǎng)絡(luò)記憶容量3.4 權(quán)值設(shè)計,2024/3/25,31,,3.1 狀態(tài)更新,由-1變?yōu)?;由1變?yōu)?1;狀態(tài)保持不變串行異步方式任意時刻隨機(jī)地或確定

17、性地選擇網(wǎng)絡(luò)中的一個神經(jīng)元進(jìn)行狀態(tài)更新,而其余神經(jīng)元的狀態(tài)保持不變 并行同步方式任意時刻網(wǎng)絡(luò)中部分神經(jīng)元(比如同一層的神經(jīng)元)的狀態(tài)同時更新。如果任意時刻網(wǎng)絡(luò)中全部神經(jīng)元同時進(jìn)行狀態(tài)更新,那么稱之為全并行同步方式,2024/3/25,32,,3.1 狀態(tài)更新,串行異步方式任一時刻,網(wǎng)絡(luò)中只有一個神經(jīng)元被選擇進(jìn)行狀態(tài)更新或保持,所以異步狀態(tài)更新的網(wǎng)絡(luò)從某一初態(tài)開始需經(jīng)過多次更新狀態(tài)后才可以達(dá)到某種穩(wěn)態(tài)。實現(xiàn)上容易,每個神經(jīng)元有自己

18、的狀態(tài)更新時刻,不需要同步機(jī)制;異步狀態(tài)更新更接近實際的生物神經(jīng)系統(tǒng)的表現(xiàn)并行同步方式,2024/3/25,33,,3.2 網(wǎng)絡(luò)學(xué)習(xí),聯(lián)想記憶聯(lián)想記憶功能是DHNN的一個重要應(yīng)用范圍。DHNN用于聯(lián)想記憶有兩個突出的特點(diǎn),即記憶是分布式的,而聯(lián)想是動態(tài)的反饋網(wǎng)絡(luò)實現(xiàn)聯(lián)想記憶必須具備的兩個基本條件網(wǎng)絡(luò)能收斂到穩(wěn)定的平衡狀態(tài),并以其作為樣本的記憶信息;具有回憶能力,能夠從某一殘缺的信息回憶起所屬的完整的記憶信息學(xué)習(xí)目的具有

19、q個不同的輸入樣本組Pr×q=[P1, P2 …Pq]通過學(xué)習(xí)方式調(diào)節(jié)計算有限的權(quán)值矩陣W以每一組輸入樣本Pk,k=1,2,…,q 作為系統(tǒng)的初始值經(jīng)過網(wǎng)絡(luò)工作運(yùn)行后,系統(tǒng)能收斂到各自輸入樣本矢量本身,2024/3/25,34,,3.2 網(wǎng)絡(luò)學(xué)習(xí),DHNN中運(yùn)用海布調(diào)節(jié)規(guī)則海布法則是一種無指導(dǎo)的死記式學(xué)習(xí)算法當(dāng)神經(jīng)元輸入與輸出節(jié)點(diǎn)的狀態(tài)相同(即同時興奮或抑制)時,從第j個到第i個神經(jīng)元之間的連接強(qiáng)度則增強(qiáng),否則減弱

20、當(dāng)k=1時,對于第i個神經(jīng)元,由海布學(xué)習(xí)規(guī)則可得網(wǎng)絡(luò)權(quán)值對輸入矢量的學(xué)習(xí)關(guān)系式為其中,α>0,i=1,2…,r;j=1,2…,r。在實際學(xué)習(xí)規(guī)則的運(yùn)用中,一般取α=1或1/r,2024/3/25,35,,3.2 網(wǎng)絡(luò)學(xué)習(xí),當(dāng)k由1增加到2,直至q時,是在原有己設(shè)計出的權(quán)值的基礎(chǔ)上,增加一個新量pjkpik,k=2…, q對網(wǎng)絡(luò)所有輸入樣本記憶權(quán)值的設(shè)計公式為其中,α>0,i=1,2…,r;j=1,2…,r。在實際學(xué)習(xí)

21、規(guī)則的運(yùn)用中,一般取α=1或1/r,2024/3/25,36,,3.2 網(wǎng)絡(luò)學(xué)習(xí),向量形式表示α=1時神經(jīng)網(wǎng)絡(luò)工具箱中采用海布公式求解網(wǎng)絡(luò)權(quán)矩陣變化的函數(shù)為learnh.m和learnhd.m。后者為帶有衰減學(xué)習(xí)速率的函數(shù)dW=1earnh(P,A,lr)dW=learnhd(W,P,A,lr,dr);對于簡單的情況,lr可以選擇1;對于復(fù)雜的應(yīng)用,可取lr=0.1~0.5,dr=lr/3,2024/3/25,37,

22、,3.2 網(wǎng)絡(luò)學(xué)習(xí),簡單驗證q=1, α=l求出的權(quán)值wij是否能夠保證ai=pi? 對于第i個輸出節(jié)點(diǎn),有,2024/3/25,38,,3.3 記憶容量,設(shè)計DHNN網(wǎng)絡(luò)的目的,是希望通過所設(shè)計的權(quán)值矩陣W儲存多個期望模式當(dāng)網(wǎng)絡(luò)只記憶一個穩(wěn)定模式時,該模式肯定被網(wǎng)絡(luò)準(zhǔn)確無誤地記憶住,即所設(shè)計的W值一定能夠滿足正比于輸入和輸出矢量的乘積關(guān)系但當(dāng)需要記憶的模式增多時,網(wǎng)絡(luò)記憶可能出現(xiàn)問題權(quán)值移動交叉干擾,2024/3/

23、25,39,,3.3 記憶容量,權(quán)值移動當(dāng)k=2時,為了記憶樣本T2,需要在記憶了樣本Tl的權(quán)值上加上對樣本T2的記憶項T2T2T-I,將權(quán)值在原來值的基礎(chǔ)上產(chǎn)生了移動由于在學(xué)習(xí)樣本T2時,權(quán)矩陣W是在已學(xué)習(xí)了T1的基礎(chǔ)上進(jìn)行修正的,W起始值不再為零,所以由此調(diào)整得出的新的W值,對記憶樣本T2來說,也未必對所有的s個輸出同時滿足符號函數(shù)的條件,即難以保證網(wǎng)絡(luò)對T2的精確的記憶隨著學(xué)習(xí)樣本數(shù)k的增加,權(quán)值移動現(xiàn)象將進(jìn)一步發(fā)生,當(dāng)學(xué)習(xí)

24、了第q個樣本Tq后,權(quán)值又在前q-1個樣本修正的基礎(chǔ)上產(chǎn)生了移動,這也是網(wǎng)絡(luò)在精確的學(xué)習(xí)了第一個樣本后的第q-1次移動對已記憶的樣本發(fā)生遺忘,這種現(xiàn)象被稱為“疲勞”,2024/3/25,40,,3.3 記憶容量,交叉干擾設(shè)輸入矢量P維數(shù)為r×q,取α=1/r。Pk∈{-1,1},所以pik*pjk=pjk*pjk=1。當(dāng)網(wǎng)絡(luò)某個矢量Pl,l∈[1,q],作為網(wǎng)絡(luò)的輸入矢量時,可得網(wǎng)絡(luò)的加權(quán)輸入和nil為

25、上式右邊中第一項為期望記憶的樣本,而第二項則是當(dāng)網(wǎng)絡(luò)學(xué)習(xí)多個樣本時,在回憶階段即驗證該記憶樣本時,所產(chǎn)生的相互干擾,稱為交叉干擾項,2024/3/25,41,,3.3 記憶容量,有效容量從對網(wǎng)絡(luò)的記憶容量產(chǎn)生影響的權(quán)值移動和交叉干擾上看,采用海布學(xué)習(xí)法則對網(wǎng)絡(luò)記憶樣本的數(shù)量是有限制的通過上面的分析已經(jīng)很清楚地得知,當(dāng)交叉干擾項幅值大于正確記憶值時,將產(chǎn)生錯誤輸出在什么情況下,能夠保證記憶住所有樣本?當(dāng)所期望記憶的樣本是兩兩正交

26、時,能夠準(zhǔn)確得到一個可記憶數(shù)量的上限值,2024/3/25,42,,3.3 記憶容量,有效容量的上界正交特性神經(jīng)元為二值輸出的情況下,即Pj∈{-1,1},當(dāng)兩個r維樣本矢量的各個分量中,有r/2是相同,r/2是相反。對于任意一個數(shù)l,l∈[1,r],有Pl(Pk)T=0,l≠k;而有Pl(Pl)T=r,l=k 用外積和公式所得到的權(quán)矩陣進(jìn)行迭代計算,在輸入樣本Pk,k=1,2…, q中任取Pl為初始輸入,求網(wǎng)絡(luò)加權(quán)輸入和Nl,只

27、要滿足,r>q,則有sgn(Nl)=Pl保證Pl為網(wǎng)絡(luò)的穩(wěn)定解,2024/3/25,43,3.4 權(quán)值設(shè)計,,δ學(xué)習(xí)規(guī)則:通過計算每個神經(jīng)元節(jié)點(diǎn)的實際激活值A(chǔ)(t),與期望狀態(tài)T(t)進(jìn)行比較,若不滿足要求,則將二者的誤差的一部分作為調(diào)整量,若滿足要求,則相應(yīng)的權(quán)值保持不變,2024/3/25,44,3.4 權(quán)值設(shè)計,,偽逆法對于輸入樣本P=[P1 P2 … Pq],設(shè)網(wǎng)絡(luò)輸出可以寫成一個與輸入樣本相對應(yīng)的矩陣A,輸入和

28、輸出之間可用一個權(quán)矩陣W來映射,即有:W*P=N,A=sgn(N),由此可得W=N*P* 其中P*為P的偽逆,有P*=(PTP)-1PT如果樣本之間是線性無關(guān)的,則PTP滿秩,其逆存在,則可求出權(quán)矩陣W但當(dāng)記憶樣本之間是線性相關(guān)的,由海布法所設(shè)計出的網(wǎng)絡(luò)存在的問題,偽逆法也解決不了,甚至無法求解,相比之下,由于存在求逆等運(yùn)算,偽逆法較為繁瑣,而海布法則要容易求得多,

29、2024/3/25,45,3.4 權(quán)值設(shè)計,,正交化的權(quán)值設(shè)計這一方法的基本思想和出發(fā)點(diǎn) 1)保證系統(tǒng)在異步工作時的穩(wěn)定性;2)保證所有要求記憶的穩(wěn)定平衡點(diǎn)都能收斂到自己;3)使偽穩(wěn)定點(diǎn)的數(shù)目盡可能的少;4)使穩(wěn)定點(diǎn)的吸引域盡可能的大。 正交化設(shè)計方法的數(shù)學(xué)設(shè)計較為復(fù)雜,類似于Gram-Schmidt正交化過程與外積和法相比較,所設(shè)計出的平衡穩(wěn)定點(diǎn)能夠保證收斂到自己并且有較大的穩(wěn)定域在MATLAB工具箱中已將此設(shè)計方法寫

30、進(jìn)了函數(shù)solvehop.m中: [W,b]=solvehop(T),2024/3/25,46,四、穩(wěn)定性與應(yīng)用,3.1 聯(lián)想存儲器特性3.2 穩(wěn)定平衡點(diǎn)判定3.3 TSP問題求解,2024/3/25,47,4.1 聯(lián)想存儲器特性,性質(zhì)如果X是一個系統(tǒng)的穩(wěn)定狀態(tài),則-X也一定是一個穩(wěn)定狀態(tài)如果X1,X2,…,Xk為系統(tǒng)的穩(wěn)定狀態(tài),Y是它們的線性組合而得到的向量,則Y為穩(wěn)定狀態(tài)對于任意X1,X2,…,Xk,k<=n-1,

31、則總可以找到W,并且rank(W)<n),使得X1,X2,…,Xk是網(wǎng)絡(luò)的穩(wěn)定狀態(tài),2024/3/25,48,4.2 穩(wěn)定平衡點(diǎn)判定,定理(穩(wěn)定平衡點(diǎn)判定)對于CHNN,Us為一個n維向量。Us為系統(tǒng)的一個穩(wěn)定平衡點(diǎn)的充分條件如下,,2024/3/25,49,4.3 TSP問題求解,所謂TSP(Traveling Salesman Problem)問題,即“旅行商問題”是一個十分有名的難以求解的優(yōu)化問題,其要求很簡單:在n個城市

32、的集合中,找出一條經(jīng)過每個城市各一次,最終回到起點(diǎn)的最短路徑問題描述如果已知城市A,B,C,D,…,之間的距離為dAB,dBC,dCD…;那么總的距離d=dAB+dBC+dCD+…,對于這種動態(tài)規(guī)化問題,要去求其min(d)的解對于n個城市的全排列共有n!種,而TSP并沒有限定路徑的方向,即為全組合,所以對于固定的城市數(shù)n的條件下,其路徑總數(shù)Sn為Sn=n!/2n (n≥4)在n個城市基礎(chǔ)上,每添加一個城市,路徑總數(shù)要添加n倍,

33、2024/3/25,50,2024/3/25,51,4.3 TSP問題,TSP的解是若干城市的有序排列,任何一個城市在最終路徑上的位置可用一個n維的0、1矢量表示,對于所有n個城市,則需要一個n×n維矩陣。以5個城市為例,一種可能的排列矩陣為,2024/3/25,52,4.3 TSP問題,若用dxy表示從城市x到城市y的距離,則上面路徑的總長度為: dxy=dCA+dAD+dDB+dBE+dCETSP的最優(yōu)解是求長度d

34、xy為最短的一條有效的路徑 采用連續(xù)時間的霍普菲爾德網(wǎng)絡(luò)模型來求解TSP,開辟了一條解決這一問題的新途徑。其基本思想是把TSP映射到CHNN上,通過網(wǎng)絡(luò)狀態(tài)的動態(tài)演化逐步趨向穩(wěn)態(tài)而自動地搜索出優(yōu)化解,2024/3/25,53,4.3 TSP問題,目標(biāo)函數(shù)f(V)約束條件g(V) 約束條件要保證關(guān)聯(lián)矩陣的每一行每一列中只有一個值為1,其他值均為零,用三項表示為總的能量函數(shù)E,2024/3/25,54,4.3 TSP問題

35、,選擇使用高增益放大器,從而能量函數(shù)中的積分分項可以忽略不計。求解得網(wǎng)絡(luò)的聯(lián)接權(quán)值為式中外部輸入偏置電流為,2024/3/25,55,4.3 TSP問題,求解TSP的連接神經(jīng)網(wǎng)絡(luò)模型的運(yùn)動方程可表示為霍普菲爾德和泰克(Tank)經(jīng)過實驗,認(rèn)為取初始值為:S=Q=P=500,T=200,RC=1,U0=0.02時,其求解10個城市的TSP得到良好的效果。人們后來發(fā)現(xiàn),用連續(xù)霍普菲爾德網(wǎng)絡(luò)求解像TSP這

36、樣約束優(yōu)化問題時,系統(tǒng)S、Q、P、T的取值對求解過程有很大影響,2024/3/25,56,五、內(nèi)容小結(jié),設(shè)計Hopfield網(wǎng)絡(luò)的目的是用來存儲一些平衡點(diǎn)集,當(dāng)給定初始狀態(tài)后,該網(wǎng)絡(luò)最終能在設(shè)計點(diǎn)上平衡。該網(wǎng)絡(luò)是遞歸的,其輸出反饋為網(wǎng)絡(luò)的輸入。在理想狀態(tài)下,網(wǎng)絡(luò)的輸出恰好是原始的設(shè)計點(diǎn)網(wǎng)絡(luò)的分類和模型DHNN的學(xué)習(xí)、性能與設(shè)計反饋網(wǎng)絡(luò)的穩(wěn)定性Hopfield網(wǎng)絡(luò)可以作為誤差糾正或向量歸類網(wǎng)絡(luò)。從理論上說,Hopfield網(wǎng)絡(luò)有意

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論