反饋神經(jīng)網(wǎng)絡(luò)

1、第五章 反饋神經(jīng)網(wǎng)絡(luò),,5 反饋神經(jīng)網(wǎng)絡(luò),,Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network)，本章重點(diǎn)討論前一種類型。,根據(jù)神經(jīng)網(wǎng)絡(luò)運(yùn)行過程中的信息流向，可分為前饋式和反饋式兩種基本類型。前饋網(wǎng)絡(luò)的輸出僅由當(dāng)前輸入和權(quán)矩陣決定，而與網(wǎng)絡(luò)先前的輸出狀態(tài)無關(guān)。,美國(guó)

2、加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出一種單層反饋神經(jīng)網(wǎng)絡(luò)，后來人們將這種反饋網(wǎng)絡(luò)稱作Hopfield 網(wǎng)。,5.1.1 網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式,離散型反饋網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),,5.1離散型Hopfield神經(jīng)網(wǎng)絡(luò),(1)網(wǎng)絡(luò)的狀態(tài) DHNN網(wǎng)中的每個(gè)神經(jīng)元都有相同的功能，其輸出稱為狀態(tài)，用 xj 表示。,j=1,2,…,n,,所有神經(jīng)元狀態(tài)的集合就構(gòu)成反饋網(wǎng)絡(luò)的狀態(tài)X=[x1,x2,…,xn]T

3、,反饋網(wǎng)絡(luò)的輸入就是網(wǎng)絡(luò)的狀態(tài)初始值，表示為X(0)=[x1(0),x2(0),…,xn(0)]T,反饋網(wǎng)絡(luò)在外界輸入激發(fā)下，從初始狀態(tài)進(jìn)入動(dòng)態(tài)演變過程，變化規(guī)律為,,j=1,2,…,n (5.1),DHNN網(wǎng)的轉(zhuǎn)移函數(shù)常采用符號(hào)函數(shù),式中凈輸入為,,j=1,2,…,n (5.2),對(duì)于DHNN網(wǎng)，一般有wii=0 ，wij=wji。,反饋網(wǎng)絡(luò)穩(wěn)定時(shí)每個(gè)神經(jīng)元的狀態(tài)都不再改變，此時(shí)的穩(wěn)定狀態(tài)就是網(wǎng)絡(luò)的輸出，表示為,,

4、,(2)網(wǎng)絡(luò)的異步工作方式,,(5.3),(3)網(wǎng)絡(luò)的同步工作方式 網(wǎng)絡(luò)的同步工作方式是一種并行方式，所有神經(jīng)元同時(shí)調(diào)整狀態(tài)，即,,j=1,2,…,n (5.4),,網(wǎng)絡(luò)運(yùn)行時(shí)每次只有一個(gè)神經(jīng)元進(jìn)行狀態(tài)的調(diào)整計(jì)算，其它神經(jīng)元的狀態(tài)均保持不變，即,,5.1.2.1 網(wǎng)絡(luò)的穩(wěn)定性,DHNN網(wǎng)實(shí)質(zhì)上是一個(gè)離散的非線性動(dòng)力學(xué)系統(tǒng)。網(wǎng)絡(luò)從初態(tài)X(0)開始，若能經(jīng)有限次遞歸后，其狀態(tài)不再發(fā)生變化，即X(t+1)＝X(t)，則

5、稱該網(wǎng)絡(luò)是穩(wěn)定的。,如果網(wǎng)絡(luò)是穩(wěn)定的，它可以從任一初態(tài)收斂到一個(gè)穩(wěn)態(tài)：,5.1.2 網(wǎng)絡(luò)的穩(wěn)定性與吸引子,若網(wǎng)絡(luò)是不穩(wěn)定的，由于DHNN網(wǎng)每個(gè)節(jié)點(diǎn)的狀態(tài)只有1和-1兩種情況，網(wǎng)絡(luò)不可能出現(xiàn)無限發(fā)散的情況，而只可能出現(xiàn)限幅的自持振蕩，這種網(wǎng)絡(luò)稱為有限環(huán)網(wǎng)絡(luò)。,如果網(wǎng)絡(luò)狀態(tài)的軌跡在某個(gè)確定的范圍內(nèi)變遷，但既不重復(fù)也不停止，狀態(tài)變化為無窮多個(gè)，軌跡也不發(fā)散到無窮遠(yuǎn)，這種現(xiàn)象稱為渾沌。,,,網(wǎng)絡(luò)達(dá)到穩(wěn)定時(shí)的狀態(tài)X，稱為網(wǎng)絡(luò)的 吸引子。,如果把吸

6、引子視為問題的解，從初態(tài)朝吸引子演變的過程便是求解計(jì)算的過程。,若把需記憶的樣本信息存儲(chǔ)于網(wǎng)絡(luò)不同的吸引子，當(dāng)輸入含有部分記憶信息的樣本時(shí)，網(wǎng)絡(luò)的演變過程便是從部分信息尋找全部信息，即聯(lián)想回憶的過程。,定義5.1 若網(wǎng)絡(luò)的狀態(tài)X 滿足X=f(WX-T) 則稱X為網(wǎng)絡(luò)的吸引子。,5.1.2.2 吸引子與能量函數(shù),,定理5.1 對(duì)于DHNN 網(wǎng)，若按異步方式調(diào)整網(wǎng)絡(luò)狀態(tài)，且連接權(quán)矩陣W 為對(duì)稱陣

7、，則對(duì)于任意初態(tài)，網(wǎng)絡(luò)都最終收斂到一個(gè)吸引子。,定理5.1證明：,定義網(wǎng)絡(luò)的能量函數(shù)為：,,(5.5),令網(wǎng)絡(luò)的能量改變量為ΔE，狀態(tài)改變量為ΔX，有,,(5.6),,(5.7),5.1.2.2 吸引子與能量函數(shù),將式(5.4)、(5.6)代入(5.5)，則網(wǎng)絡(luò)能量可進(jìn)一步展開為,,,(5.8),將 代入上式 ，并考慮到W為對(duì)稱矩陣，有,,(5

8、.9),上式中可能出現(xiàn)的情況：,,情況a ：xj(t)=-1, xj(t+1)=1, 由式(5.7)得Δxj(t)=2, 由式(5.1)知，netj(t)≧0，代入式(5.9)，得ΔE(t)≦0。,情況b ：xj(t)=1, xj(t+1)=-1, 所以Δxj(t)=-2, 由式(5.1)知，netj(t)<0，代入式(5.9)，得ΔE(t)<0。,情況c ：xj(t)=xj(t+1), 所以Δxj(t)=0, 代入式(5.

9、9)，從而有ΔE(t)=0。,由此可知在任何情況下均有ΔE(t)≦0 。,由于網(wǎng)絡(luò)中各節(jié)點(diǎn)的狀態(tài)只能取1 或 –1 ，能量函數(shù)E(t) 作為網(wǎng)絡(luò)狀態(tài)的函數(shù)是有下界的，因此網(wǎng)絡(luò)能量函數(shù)最終將收斂于一個(gè)常數(shù)，此時(shí)ΔE(t)=0 。綜上所述，當(dāng)網(wǎng)絡(luò)工作方式和權(quán)矩陣均滿足定理5.1的條件時(shí)，網(wǎng)絡(luò)最終將收斂到一個(gè)吸引子。,綜上所述，當(dāng)網(wǎng)絡(luò)工作方式和權(quán)矩陣均滿足定理5.1的條件時(shí)，網(wǎng)絡(luò)最終將收斂到一個(gè)吸引子。,定理5.2 對(duì)于DHNN網(wǎng)，若按同

10、步方式調(diào)整狀態(tài)，且連接權(quán)矩陣W為非負(fù)定對(duì)稱陣，則對(duì)于任意初態(tài)，網(wǎng)絡(luò)都最終收斂到一個(gè)吸引子。,,證明：由式(5.8)得,前已證明，對(duì)于任何神經(jīng)元 j ，有,因此上式第一項(xiàng)不大于0，只要W為非負(fù)定陣，第二項(xiàng)也不大于0，于是有⊿E(t)≦0 ，也就是說E(t)最終將收斂到一個(gè)常數(shù)值，對(duì)應(yīng)的穩(wěn)定狀態(tài)是網(wǎng)絡(luò)的一個(gè)吸引子。,,,以上分析表明，在網(wǎng)絡(luò)從初態(tài)向穩(wěn)態(tài)演變的過程中，網(wǎng)絡(luò)的能量始終向減小的方向演變，當(dāng)能量最終穩(wěn)定于一個(gè)常數(shù)時(shí)，該常數(shù)對(duì)應(yīng)于網(wǎng)絡(luò)

11、能量的極小狀態(tài)，稱該極小狀態(tài)為網(wǎng)絡(luò)的能量井，能量井對(duì)應(yīng)于網(wǎng)絡(luò)的吸引子。,5.1.2.2 吸引子與能量函數(shù),性質(zhì)1 ：若X 是網(wǎng)絡(luò)的一個(gè)吸引子，且閾值T=0，在sgn(0)處，xj(t+1)=xj(t)，則 －X 也一定是該網(wǎng)絡(luò)的吸引子。,證明：∵X 是吸引子，即X= f (WX)，從而有 f [W(－X)]=f [－WX]=－f [WX]= －X　 ∴－X 也是該網(wǎng)絡(luò)的吸引子。,,5.1.2.3 吸引子

12、的性質(zhì),性質(zhì)2：若Xa是網(wǎng)絡(luò)的一個(gè)吸引子，則與Xa的海明距離dH(Xa，Xb)=1的Xb一定不是吸引子。,證明：不妨設(shè)x1a≠x1b，xja≠xjb，j=2,3,…,n。 ∵ w11=0，由吸引子定義，有,,由假設(shè)條件知，x1a≠x1b，故,,∴-X 也是該網(wǎng)絡(luò)的吸引子。,,能使網(wǎng)絡(luò)穩(wěn)定在同一吸引子的所有初態(tài)的集合，稱為該吸引子的吸引域。,定義5.2 若Xa是吸引子，對(duì)于異步方式，若存在一個(gè)調(diào)整次序，使網(wǎng)絡(luò)可

13、以從狀態(tài)X 演變到Xa ，則稱 X 弱吸引到Xa；若對(duì)于任意調(diào)整次序，網(wǎng)絡(luò)都可以從狀態(tài)X 演變到Xa，則稱X強(qiáng)吸引到Xa。,定義5.3 若對(duì)某些X，有X弱吸引到吸引子Xa，則稱這些X的集合為Xa的弱吸引域；若對(duì)某些X，有X強(qiáng)吸引到吸引子Xa，則稱這些X的集合為Xa的強(qiáng)吸引域。,,5.1.2.4 吸引子的吸引域,例5.1 設(shè)有3節(jié)點(diǎn)DHNN網(wǎng)，用無向圖表示如下，權(quán)值與閾值均已標(biāo)在圖中，試計(jì)算網(wǎng)絡(luò)演變過程的狀態(tài)。,x1

14、-0.1 -0.5 0.2 x2 0.0 0.0 x3 0.6,,,解：設(shè)各節(jié)點(diǎn)狀態(tài)取值為1 或0 ，3 節(jié)點(diǎn)DHNN 網(wǎng)絡(luò)應(yīng)有23=8種狀態(tài)。不妨將X=(x1,x2,x3 )T

15、=(0,0,0)T 作為網(wǎng)絡(luò)初態(tài)，按1→2→3的次序更新狀態(tài)。,第1步：更新x1 ，x1=sgn[(-0.5)?0+0.2?0－(-0.1)] =sgn(0.1)=1其它節(jié)點(diǎn)狀態(tài)不變，網(wǎng)絡(luò)狀態(tài)由(0,0,0)T變成(1,0,0)T。如果先更新 x2 或 x3，網(wǎng)絡(luò)狀態(tài)將仍為(0,0,0)T，因此初態(tài)保持不變的概率為2/3，而變?yōu)?1,0,0)T的概率為1/3。,x1 -0.1 -0.5

16、 0.2 x2 0.0 0.0 x3 0.6,第2步：此時(shí)網(wǎng)絡(luò)狀態(tài)為(1,0,0)T，更新x2后，得 x2=sgn[(-0.5)?1+0.6?0－0]=sgn(-0.5)=0其它

17、節(jié)點(diǎn)狀態(tài)不變，網(wǎng)絡(luò)狀態(tài)仍為(1,0,0)T。如果本步先更新 x1 或 x3，網(wǎng)絡(luò)相應(yīng)狀態(tài)將為(1,0,0)T和(1,0,1)T，因此本狀態(tài)保持不變的概率為2/3，而變?yōu)?1,0,0)T 的概率為1/3。,第3步：此時(shí)網(wǎng)絡(luò)狀態(tài)為(1,0,0)T，更新x3得 x3=sgn[0.2?1+0.6?0－0]=sgn(0.2)=1,同理可算出其它狀態(tài)之間的演變歷程和狀態(tài)轉(zhuǎn)移概率。,,,DHNN網(wǎng)絡(luò)狀態(tài)演變示意圖,,為了

18、使所設(shè)計(jì)的權(quán)值滿足要求，權(quán)值矩陣應(yīng)符合以下要求：,⑴為保證異步方式工作時(shí)網(wǎng)絡(luò)收斂，W應(yīng)為對(duì)稱陣；⑵為保證同步方式工作時(shí)網(wǎng)絡(luò)收斂，W應(yīng)為非負(fù)定對(duì)稱陣；⑶保證給定樣本是網(wǎng)絡(luò)的吸引子，并且要有一定的吸引域。,5.1.3.2外積和法,設(shè)給定P個(gè)模式樣本Xp，p=1,2,…,P，x?{-1,1}n，并設(shè)樣本兩兩正交，且n>P，則權(quán)值矩陣為記憶樣本的外積和,,,(5.16),,5.1.3 網(wǎng)絡(luò)的權(quán)值設(shè)計(jì),若取wjj=0，上式應(yīng)寫為,,(5