回聲狀態(tài)網(wǎng)絡的神經(jīng)元模型和拓撲結構優(yōu)化研究.pdf

1、近年來，隨著人工智能技術的快速發(fā)展，回聲狀態(tài)網(wǎng)絡（Echo state network, ESN）在非線性時間序列處理和動態(tài)預測系統(tǒng)方面表現(xiàn)出了一定的優(yōu)勢，受到了國內(nèi)外研究學者的廣泛關注。作為一種改進的遞歸神經(jīng)網(wǎng)絡（Recurrent neural network, RNN），回聲狀態(tài)網(wǎng)絡采用大規(guī)模稀疏連接的結構（動態(tài)儲備池）作為隱含層，且只對輸出連接權值進行調(diào)整，使整個訓練階段變得簡單高效，克服了經(jīng)典遞歸神經(jīng)網(wǎng)絡學習規(guī)則實現(xiàn)難度大，運

2、行時間長等缺點，逐漸成為非線性時間序列預測任務的重要處理方法。其中，隱含層作為信息處理的重要環(huán)節(jié)，對ESN模型的計算能力起著關鍵性作用。然而，傳統(tǒng)的ESN采用隨機生成的儲備池拓撲結構，其計算能力有限，難以滿足一些高復雜度預測任務對于預測精度的要求。此外，在構建新的儲備池計算模型時，要盡量平衡預測精度和計算復雜度兩個指標。針對這兩個問題，本文從儲備池優(yōu)化入手，包括拓撲結構和神經(jīng)元模型兩個方面，開展基于ESN非線性時間序列預測精度提升的相關

3、工作。
　　一方面，基于復雜網(wǎng)絡理論，本文構建了無標度高聚類網(wǎng)絡，驗證了其小世界和無標度特性。然后將該結構引入ESN儲備池計算，成功建立了無標度高聚類ESN計算模型。最后，采用非線性自回歸滑動平均模型和金融序列預測任務檢驗了所提出模型的優(yōu)勢。實驗結果表明：相較于傳統(tǒng)的隨機網(wǎng)絡，多簇無標度結構因其具備小世界和無尺度特性有更好的計算能力。
　　另一方面，基于環(huán)狀結構和漏積分神經(jīng)元（leaky integrator neuron）

4、，構建了低復雜度ESNs。為了和傳統(tǒng)ESN進行性能比較，分別構建了隨機ESN,環(huán)狀ESN,隨機漏積分ESN，環(huán)狀漏積分ESN，混合環(huán)狀漏積分ESN五種不同的ESN計算模型。采用MGS（Mackey-Glass）混沌時間序列預測任務，分別從預測性能、抗噪聲能力和非線性逼近性能三個方面對網(wǎng)絡性能進行評估。實驗結果表明：簡單的環(huán)狀結構和隨機結構性能相當；漏積分單元比傳統(tǒng)的 Sigmoid神經(jīng)元具備更好的記憶性能；環(huán)狀結構和漏積分神經(jīng)元的結合顯