基于改進(jìn)的神經(jīng)網(wǎng)絡(luò)自回歸模型的非線性時(shí)間序列建模和預(yù)測(cè).pdf

1、本文研究應(yīng)用于控制的時(shí)間序列的建模和預(yù)測(cè)問(wèn)題。時(shí)間序列可認(rèn)為是表征系統(tǒng)在不同時(shí)間點(diǎn)動(dòng)態(tài)特征或是由非線性動(dòng)態(tài)方程描述的被控對(duì)象在某特定采樣間隔的的一連串?dāng)?shù)據(jù)，最早可追溯到公元前5000年。時(shí)間序列廣泛存在于工業(yè)過(guò)程、社會(huì)科學(xué)、金融學(xué)、醫(yī)療學(xué)、天文學(xué)、氣象學(xué)、物理學(xué)、生物學(xué)、經(jīng)濟(jì)學(xué)、環(huán)境研究、工程等其他一些領(lǐng)域。對(duì)時(shí)間序列的研究對(duì)于我們的生活具有重要的意義，它們是人們了解過(guò)去和預(yù)測(cè)未來(lái)的基礎(chǔ)工具，如為人們提供商品的買(mǎi)賣(mài)計(jì)劃、避免貨物的過(guò)?；?/p>

2、脫銷(xiāo)、提供產(chǎn)品的需求預(yù)測(cè)、管理交通運(yùn)輸、探索宇宙空間等。時(shí)間序列在人類(lèi)生活各個(gè)方面的成功應(yīng)用歸功于數(shù)學(xué)模型及其對(duì)它們的分析。時(shí)間序列分析方法一般包括提取數(shù)據(jù)有效的統(tǒng)計(jì)特征及其它相關(guān)特征并根據(jù)歷史觀測(cè)數(shù)據(jù)建立預(yù)測(cè)未來(lái)數(shù)據(jù)的模型。非線性時(shí)間序列屬于一類(lèi)隨機(jī)順序排列的數(shù)據(jù)，對(duì)它們的分析也與不具有隨機(jī)性的普通數(shù)據(jù)分析問(wèn)題不同。同時(shí)，時(shí)間序列與空間數(shù)據(jù)也有不同，它們的一個(gè)重要特性是連續(xù)的觀測(cè)數(shù)據(jù)比較長(zhǎng)時(shí)間間隔的觀測(cè)數(shù)據(jù)更具有相關(guān)性，這個(gè)特性經(jīng)常用

3、以通過(guò)歷史數(shù)據(jù)來(lái)預(yù)測(cè)未來(lái)數(shù)據(jù)。
　　最近幾年，針對(duì)時(shí)間序列的分析問(wèn)題，許多線性模型和非線性模型被相繼提出。本文提出了四種新的模型，包括兩種改進(jìn)的神經(jīng)網(wǎng)絡(luò)非線性模型和兩種更為一般的神經(jīng)網(wǎng)絡(luò)非線性模型與線性模型的組合模型，并將這些非線性模型作為內(nèi)模應(yīng)用于實(shí)際船舶的軌跡跟蹤控制。分別為局部變權(quán)重徑向基神經(jīng)網(wǎng)絡(luò)模型（LVW-RBFN）、基于狀態(tài)相依自回歸結(jié)構(gòu)的局部多項(xiàng)式徑向基神經(jīng)網(wǎng)絡(luò)模型(LPRBF-AR)、基于結(jié)構(gòu)化非線性參數(shù)優(yōu)化方法的

4、局部多項(xiàng)式小波神經(jīng)網(wǎng)絡(luò)模型（LPWNN-SNPOM）和基于狀態(tài)相依自回歸模型的函數(shù)型權(quán)重小波神經(jīng)網(wǎng)絡(luò)模型(FWWNN-AR)。最后，這些全局非線性模型作為預(yù)測(cè)控制器的內(nèi)模應(yīng)用于實(shí)際船舶的軌跡跟蹤控制。本文的主要工作和創(chuàng)新成果概括如下:
　　第一，針對(duì)非線性時(shí)間序列的建模和預(yù)測(cè)問(wèn)題，提出了一種特定的徑向基神經(jīng)網(wǎng)絡(luò)類(lèi)模型——局部變權(quán)重徑向基神經(jīng)網(wǎng)絡(luò)模型(LVW-RBFN)。局部變權(quán)重徑向基神經(jīng)網(wǎng)絡(luò)可認(rèn)為是普通徑向基神經(jīng)網(wǎng)絡(luò)的改進(jìn)，它是

5、由輸入層、輸出層、隱含層和權(quán)重層構(gòu)成的四層前饋人工神經(jīng)網(wǎng)絡(luò)，隱含層的每個(gè)節(jié)點(diǎn)即為一個(gè)徑向基函數(shù)并具有一個(gè)稱(chēng)之為網(wǎng)絡(luò)中心的參數(shù)矢量，網(wǎng)絡(luò)中心用以比對(duì)徑向基函數(shù)的輸入以得到相應(yīng)的徑向幾何響應(yīng)，這些響應(yīng)通過(guò)與網(wǎng)絡(luò)輸入相關(guān)的局部變權(quán)重系數(shù)進(jìn)行縮放，最后由它們組成整個(gè)網(wǎng)絡(luò)的輸出。局部變權(quán)重徑向基神經(jīng)網(wǎng)絡(luò)模型（LVW-RBFN）相對(duì)于標(biāo)準(zhǔn)徑向基網(wǎng)絡(luò)需使用更多的線性參數(shù)，但這更有利于通過(guò)隱含層和權(quán)重層獲得非線性時(shí)間序列的動(dòng)態(tài)特性。一種結(jié)構(gòu)化的非線性參

6、數(shù)優(yōu)化方法(SNPOM)被用來(lái)估計(jì)此模型，這種方法將需要的估計(jì)的參數(shù)分為線性參數(shù)空間和非線性參數(shù)空間，并通過(guò)LMM方法優(yōu)化非線性參數(shù)，通過(guò)最小二乘法優(yōu)化線性參數(shù)，且在參數(shù)的每次優(yōu)化迭代過(guò)程中，非線性參數(shù)（線性參數(shù)）的更新緊緊跟隨著線性參數(shù)（非線性參數(shù)）的更新。最后，利用提出的LVW-RBFN模型預(yù)測(cè)了三組著名的時(shí)間序列，分別為Mackey-Glass序列、the electroencephalography(EEG)和the Box-J

7、enkins data（請(qǐng)參考甘敏論文）.并與其它一些最新提出的模型進(jìn)行比較，研究結(jié)果表明了該模型的優(yōu)越性。
　　1)Mackey-Glass(MG)時(shí)間序列;為了與以前的工作保持一致，我們基于四階龍格-庫(kù)塔方法生成了兩千個(gè)數(shù)據(jù)，時(shí)間步長(zhǎng)為0.1，初始值x(0)=1.2。從生成的數(shù)據(jù)集來(lái)看，1000個(gè)數(shù)據(jù)中提取從第118到第1117個(gè)數(shù)據(jù)。前500個(gè)數(shù)據(jù)用于訓(xùn)練模型，而其余的500個(gè)用來(lái)測(cè)試該模型。LVW-RBF(10，4)模型被

8、用來(lái)預(yù)測(cè)這個(gè)復(fù)雜的非線性時(shí)間序列的六步向前輸出。得到的結(jié)果表明，與列表中的其他方法相比，該模型需要更少的隱含層神經(jīng)元以及更少的中心就能產(chǎn)生更好的預(yù)測(cè)精度。它也顯示，預(yù)測(cè)誤差均值幾乎為零，揭示了誤差類(lèi)似白噪聲。
　　2)EEG時(shí)間序列，也稱(chēng)為腦電圖，記錄短時(shí)間內(nèi)大腦的自發(fā)性電活動(dòng)。我們使用LVW-RBF(8，5)來(lái)評(píng)估對(duì)腦電圖的建模和預(yù)測(cè)性能。使用630個(gè)數(shù)據(jù)，前350個(gè)用于模型擴(kuò)展，其余280個(gè)專(zhuān)門(mén)用于測(cè)試模型。與一些著名方法實(shí)現(xiàn)

9、的結(jié)果相比，實(shí)際值與用測(cè)試集估計(jì)的輸出值之差的均方根誤差MSE及AIC都比較小。這表明，該模型優(yōu)于那些模型。
　　3)Box-Jenkins煤氣爐時(shí)間序列;在甲烷氣體混合物燃燒過(guò)程中記錄Box-Jenkins數(shù)據(jù)。這組數(shù)據(jù)眾所周知，是常用的測(cè)試非線性建模與預(yù)測(cè)方法的基準(zhǔn)。該數(shù)據(jù)集包括296組輸入輸出對(duì)，采樣周期為9s。輸入u(t)是入爐的氣體流量，x(t)輸出是出口氣體中的二氧化碳濃度。進(jìn)行了評(píng)估，通過(guò)與回歸權(quán)重的RBF比較來(lái)評(píng)估

10、我們所提出的模型的性能，u(t-4)和x(t-1)作為輸入變量，x(t)作為輸出變量，且考慮不同節(jié)點(diǎn)的數(shù)量n=(3，6,…30)。均方根誤差(MSE)作為性能指標(biāo)。給定相同的數(shù)量或有時(shí)給更少的隱含層神經(jīng)元，該模型比回歸權(quán)RBF模型取得更好的性能。
　　第二，為了提高LVW-RBF的性能和進(jìn)一步減少中心數(shù)量，本文提出基于局部多項(xiàng)式RBF神經(jīng)網(wǎng)絡(luò)的狀態(tài)相依AR(LPRBF-AR)模型。LPRBFN是RBF的改進(jìn)型，它的權(quán)重由輸入的多項(xiàng)

11、式函數(shù)表示。與LLRBFN不同之處在于，它的每個(gè)權(quán)重包含一個(gè)自由參數(shù)且是一個(gè)冪函數(shù)，其冪為正整數(shù)，而LLRBFN每個(gè)權(quán)重的冪等于1。它與回歸權(quán)重RBF的不同之處在于，其權(quán)重不包含任何誤差。實(shí)際上該誤差被添加到網(wǎng)絡(luò)輸出。而回歸權(quán)重RBF的每個(gè)權(quán)重的冪等于1，與LLRBFN情況一樣。結(jié)構(gòu)化非線性參數(shù)優(yōu)化方法(SNPOM)用于估計(jì)該模型的參數(shù)。我們所提出的模型的性能和有效性用Mackey-Glass時(shí)間序列、Lorenz混沌時(shí)間序列、EEC和

12、Box-Jenkins煤氣爐時(shí)間序列評(píng)估。
　　1)Mackey-Glass(MG)時(shí)間序列:對(duì)兩種不同的情況進(jìn)行了研究。第一種情況下，選取τ=20，生成1000個(gè)數(shù)據(jù)，其中前500個(gè)數(shù)據(jù)用于訓(xùn)練模型，后500個(gè)用于測(cè)試該模型。從而得到三種不同滯后時(shí)間的LPRBF-AR模型的一步前向預(yù)測(cè)誤差。結(jié)果顯示，與具有相同滯后時(shí)間、相同數(shù)量的節(jié)點(diǎn)且每個(gè)節(jié)點(diǎn)具有相同數(shù)量中心的模型相比，LPRBF-AR模型能夠得到最小的預(yù)測(cè)誤差和AIC。此外，

13、具有相同數(shù)量節(jié)點(diǎn)以及每個(gè)節(jié)點(diǎn)的中心數(shù)時(shí)，LPRBF-AR比RBF-AR模型表現(xiàn)更好，且滯后時(shí)間更短。與一些知名模型相比，LPRBF-AR表現(xiàn)出最好的模型和預(yù)測(cè)精度。第二種情況下，考慮與(1)中相同的數(shù)據(jù)，比較LPRBF-AR(4，10，4)與LPRBF-AR(4，8，4)兩種模型，獲取六步前向預(yù)測(cè)，并將它們的模型和預(yù)測(cè)性能與早期出版物中所做的工作進(jìn)行比較。跟它們相比，我觀察到LPRBF-AR需要更少的隱藏神經(jīng)元與中心數(shù)來(lái)達(dá)到好得多的預(yù)測(cè)

14、精度。
　　2)洛倫茨吸引子是洛倫茨振子的長(zhǎng)期行為對(duì)應(yīng)的分形結(jié)構(gòu)。洛倫茨振子是一種能產(chǎn)生混沌流的三維動(dòng)力系統(tǒng)。這一洛倫茨模型不只對(duì)非線性數(shù)學(xué)有重要性，對(duì)于氣候和天氣預(yù)報(bào)來(lái)說(shuō)也很重要。聲明變量σ，ρ，二者均為正數(shù)。為與早期的工作進(jìn)行公平的比較，選取普朗特?cái)?shù)α=10，瑞利數(shù)ρ=28，常數(shù)β=3/8。通過(guò)調(diào)節(jié)這些參數(shù)，并設(shè)置采樣時(shí)間為0.01s，用55秒的時(shí)間來(lái)生成一個(gè)洛倫茨吸引子的長(zhǎng)期軌跡，從而創(chuàng)建了一個(gè)單變量時(shí)間序列。為避免瞬態(tài)響應(yīng)

15、，應(yīng)選取第35s到55s之間的數(shù)據(jù)集，得到2500個(gè)數(shù)據(jù)構(gòu)成的集合。前1500個(gè)數(shù)據(jù)用于訓(xùn)練，后1000個(gè)用于測(cè)試。性能指標(biāo)選取標(biāo)準(zhǔn)均方誤差(NormalizedMean Square Error, NMSE)。將LPRBF-AR(4,3,2)和LPRBF-AR(5,3,2)的性能與其他知名方法進(jìn)行比較。實(shí)際輸出與估計(jì)輸出的NMSE如下:使用訓(xùn)練集的LPRBF-AR(4，3，2)為1.53×10-12，LPRBF-AR(5，3，2)為1

16、.10×10-14，而使用測(cè)試集的LPRBF-AR(4，3，2)為2.96×10-12，LPRBF-AR(5，3，2)為3.650×10-14。與其他方法相比，這些NMSE很小。可見(jiàn)LPRBF-AR(4，3，2)的表現(xiàn)比除了LPRBF-AR(5，3，2)之外的其他方法都要好。因此與其他模型相比，LPRBF-AR需要更少的中心數(shù)目。所提出模型表現(xiàn)出來(lái)的好的統(tǒng)計(jì)特性同樣證明了模型能夠有效地描述原始數(shù)據(jù)的動(dòng)態(tài)特性。因此提供了一個(gè)更加精確的預(yù)測(cè)

17、結(jié)果。
　　3)對(duì)于EEG時(shí)間序列(正如(1)中描述的一樣），LPRBF-AR(8，3，4)與其他所列舉的算法相比有更小的預(yù)測(cè)誤差和AIC。這證明通過(guò)LPRBF來(lái)逼近狀態(tài)自回歸方程的系數(shù)比目前所知道的其他類(lèi)型的SD-AR和RBF算法有更加優(yōu)越的性能。其次，訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的預(yù)測(cè)誤差都接近于白噪聲。而且對(duì)于模擬震動(dòng)時(shí)間序列常常發(fā)生大的建模誤差都沒(méi)有發(fā)現(xiàn)。所有的這些結(jié)果都顯示LRBF-AR模型能夠很好的揭示原始數(shù)據(jù)的動(dòng)態(tài)性能。

18、>　　4)此部分給出了兩個(gè)關(guān)于Box-Jenkins燃?xì)鉅t時(shí)間序列的例子分析。第一個(gè)例子中，(1)給出了數(shù)據(jù)和條件。通過(guò)對(duì)比我們的模型和regressive weights RBF的建模結(jié)果，我們發(fā)現(xiàn):所提出模型的MSE和這些regressive weights RBF模型一樣，隨著結(jié)點(diǎn)數(shù)目的增多而減少。而且相比其他的regressive weights RBF模型，LPRBF-AR模型只需要較少的隱含層節(jié)點(diǎn)數(shù)來(lái)取得更好的建模性能。在第

19、二個(gè)例子中，考慮和(1)一樣的原始數(shù)據(jù)，為了更加公平的對(duì)比我們的模型和其他模型的優(yōu)缺點(diǎn)，我們采用同樣的輸入和相關(guān)條件。
　　對(duì)比建模結(jié)果顯示:LPRBF-AR有更小的訓(xùn)練數(shù)據(jù)均方誤差。其次，LPRBF-AR有最小的測(cè)試數(shù)據(jù)均方誤差。這表明，相比所列的其他模型，我們的模型優(yōu)越不僅表現(xiàn)在建模上，而且表現(xiàn)在預(yù)測(cè)未知情況的數(shù)據(jù)上。同樣能看到LPRBF-AR只需要較少的節(jié)點(diǎn)數(shù)目便能取得很好的建模效果。
　　第三，此部分介紹了增強(qiáng)型的小

20、波神經(jīng)網(wǎng)絡(luò)，即LPWNN-SNPOM。這是一個(gè)5層的神經(jīng)網(wǎng)絡(luò)包括了輸入層、輸出層，小波層，乘積層和多項(xiàng)式層，多項(xiàng)式層是作為函數(shù)的輸入來(lái)計(jì)算權(quán)重的，這些權(quán)重是動(dòng)態(tài)的，而且對(duì)于動(dòng)態(tài)系統(tǒng)的學(xué)習(xí)過(guò)程很重要。LPWNN-SNPOM是WNN-HLA的推廣與發(fā)展。這兩個(gè)模型主要有下面的三個(gè)不同:i)LPWNN-SNPOM包含了一個(gè)偏置。ii）在LPWNN-SNPOM中，我們用輸入的多項(xiàng)式函數(shù)作為參數(shù)權(quán)重，而WNN-HLA的參數(shù)權(quán)重是不變的，這樣能更好

21、地讓權(quán)重隨著輸入的變化而變化和反應(yīng)系統(tǒng)的動(dòng)態(tài)性能。iii）不像WNN-HLA，用在線優(yōu)化的方法，LPWNN-SNPOM采用離線優(yōu)化的方法，即SNPOM。所提出模型的性能和效率通過(guò)了幾個(gè)例子來(lái)詳細(xì)闡述了（Mackey-Glass時(shí)間序列，非線性動(dòng)態(tài)系統(tǒng)，混沌信號(hào)，澳大利亞的氣泡酒時(shí)間序列，Box-Jenkins燃?xì)鉅t時(shí)間序列和太陽(yáng)黑子時(shí)間序列）。這些結(jié)果都顯示了所提出模型的有效性和優(yōu)越性，同時(shí)證明了所提出模型在WNN-HLA有提高并且比其

22、他著名的模型性能好。
　　1) Mackey-Glass時(shí)間序列。采用和（第一）中相同的數(shù)據(jù)，利用LPWNN—SNPOM(4，10)模型對(duì)Mackey-Glass這一復(fù)雜非線性時(shí)間序列的未來(lái)六個(gè)步驟的輸出進(jìn)行了預(yù)測(cè)。結(jié)果顯示，相比其它預(yù)測(cè)技術(shù)包括如LLWNN，LLNF和PG-RBF在內(nèi)的工藝水平，該模型獲得了一個(gè)訓(xùn)練和測(cè)試數(shù)據(jù)集小很多的RMSE。
　　2)非線性動(dòng)態(tài)系統(tǒng)，它可認(rèn)為是一個(gè)輸出非線性依賴(lài)于其過(guò)去值及輸入，并附加了

23、輸入輸出值影響的被控對(duì)象。為了和以前的成果進(jìn)行公平對(duì)比，選用了200組數(shù)據(jù)來(lái)訓(xùn)練LPWNN-SNPOM(2，6)模型，以根的平均平方誤差(RMSE)作為效果評(píng)估，將該模型與WNN-HLA，F(xiàn)ALCON，SONFIN和SCFNN模型進(jìn)行了比較。據(jù)觀察可得，LPWNN-SNPOM(2，6)模型所產(chǎn)生的預(yù)測(cè)誤差遠(yuǎn)遠(yuǎn)小于上文所提到的其它模型。另外還可得知，由于該模型的權(quán)重結(jié)構(gòu)，該模型獲得較好建模效果所需的參數(shù)和迭代次數(shù)更少。
　　3)混沌

24、信號(hào)。將LPWNN-SNPOM模型應(yīng)用在一個(gè)從等式衍生出來(lái)的簡(jiǎn)單混沌信號(hào)的典型一步向前預(yù)測(cè)問(wèn)題上。令系數(shù)a=3.6，x(1)=0.001，首先生成60個(gè)數(shù)據(jù)的訓(xùn)練集。再令a=3.8，初始值x(1)=0.9，生成100個(gè)數(shù)據(jù)用于模型的驗(yàn)證。LPWNN-SNPOM(2，2)模型則用來(lái)預(yù)測(cè)該復(fù)雜混沌時(shí)間序列的一步向前輸出。據(jù)觀察可得，LPWNN-SNPOM(2，2)模型的預(yù)測(cè)誤差在經(jīng)過(guò)多次迭代之后可以減小到一個(gè)非常小的值。它表明，雖然相對(duì)小波

25、，權(quán)重有更高的振幅，但兩者都對(duì)該非線性時(shí)間序列的動(dòng)態(tài)表現(xiàn)有貢獻(xiàn)，而且該模型幾乎完全符合原始輸出。結(jié)果顯示，與其他所列的預(yù)測(cè)技術(shù)相比，該模型只需要很少的隱含神經(jīng)元和小波基就能獲得很好的預(yù)測(cè)精度。
　　4)非線性函數(shù)的逼近。在這部分，通過(guò)使用二維函數(shù)對(duì)該方法的性能進(jìn)行了研究。為了公平對(duì)比，從均勻分布在D=[10，10]×[10，10]范圍內(nèi)的一個(gè)隨機(jī)輸入中采集了400個(gè)數(shù)據(jù)作為訓(xùn)練集。根據(jù)WNN-HLA，RBF，WNN，WN以及LPW

26、NN-SNPOM模型的比較結(jié)果可知，相比其他方法，該模型用更少的參數(shù)和迭代次數(shù)就可以獲得更好的模型精度。這樣的性能主要是由于非線性函數(shù)中新的小波結(jié)構(gòu)的代表能力以及最優(yōu)化技術(shù)對(duì)該模型的訓(xùn)練效率。
　　5)澳大利亞一個(gè)烈酒公司的氣泡酒時(shí)間序列:這個(gè)時(shí)間序列是從http://robjhyndman.com/tsdldata/data/sparklng.dat獲得，為了在實(shí)際數(shù)據(jù)的基礎(chǔ)上測(cè)試這個(gè)設(shè)定模型的結(jié)果。這個(gè)時(shí)間序列有很強(qiáng)的年度季節(jié)

27、性，可以在設(shè)計(jì)一個(gè)更好的合適的模型中得以應(yīng)用。在這部分中，使用了一個(gè)有固定輸入向量的LPWNN-SNPOM(2，2)模型去預(yù)測(cè)這個(gè)非線性時(shí)間序列的一步前向輸出。兩個(gè)流行的策略即均方差(MSE)和平均絕對(duì)誤差百分比(MAPE)，都作為使用指標(biāo)。通過(guò)假定模型獲得的結(jié)果和通過(guò)SARIMA模型獲得的結(jié)果進(jìn)行相對(duì)照，可以看到除了在第六年通過(guò)SARIMA模型獲得比較好的均方差外，其他年份設(shè)定模型比SARIMA模型獲得的結(jié)果都要好。如果在設(shè)定模型的基

28、礎(chǔ)上，澳大利亞烈酒公司將會(huì)獲得更大的經(jīng)濟(jì)效益。
　　6)Box-Jenkins煤氣爐時(shí)間序列:如在（第一）中考慮的一樣。這主要目的是把設(shè)定模型應(yīng)用起來(lái)獲得一步前向預(yù)測(cè)，建立在y(t-1),y(t-2),y(t-3),y(t-4),u(t-1),u(t-2),u(t-3),u(t-4),u(t-5)和u(t-6)基礎(chǔ)上。這樣的輸入結(jié)構(gòu)使用的更廣泛。為了使和其它使用同樣輸入結(jié)構(gòu)的方法公平對(duì)照，數(shù)據(jù)集減到了290。前145個(gè)數(shù)據(jù)用來(lái)訓(xùn)練

29、設(shè)定模型而剩下的145個(gè)數(shù)據(jù)用來(lái)在還不能看到的一些數(shù)據(jù)的基礎(chǔ)上測(cè)試它們的預(yù)測(cè)能力。獲得的結(jié)果表明，在與其他例舉出來(lái)用于比較的預(yù)測(cè)技術(shù)相比，所提出模型需要一個(gè)很小數(shù)量的隱藏神經(jīng)元來(lái)獲得更好的預(yù)測(cè)精度，于是提出了一個(gè)LPWNN-SNPOM(10，6)模型。也有人指出，該模型只需要幾個(gè)步驟去匯合。
　　7)太陽(yáng)黑子時(shí)間序列:太陽(yáng)黑子是出現(xiàn)在太陽(yáng)光球部位的一種與周?chē)鷧^(qū)域相比起來(lái)有明顯黑斑的瞬時(shí)自然現(xiàn)象。它們是由于強(qiáng)磁場(chǎng)活動(dòng)引起的，該磁場(chǎng)活

30、動(dòng)阻止了邊緣渦流產(chǎn)生的對(duì)流，形成了一些表面溫度降低的區(qū)域。太陽(yáng)黑子的數(shù)目是太陽(yáng)活動(dòng)的一個(gè)很好的檢測(cè)，并且太陽(yáng)黑子活動(dòng)的周期是11年，稱(chēng)為太陽(yáng)活動(dòng)周期。太陽(yáng)活動(dòng)對(duì)地球，氣候，天氣，衛(wèi)星以及太空任務(wù)都有強(qiáng)烈的影響。因此預(yù)測(cè)太陽(yáng)黑子時(shí)間序列是非常重要的。然而，由于系統(tǒng)的復(fù)雜性和數(shù)據(jù)模型的缺乏，預(yù)測(cè)太陽(yáng)周期不是一個(gè)簡(jiǎn)單的任務(wù)。為了使設(shè)定模型與現(xiàn)有的模型在同等條件下相比較，選擇了從1834年11月到2001年六月的太陽(yáng)黑子時(shí)間序列，并且使2000

31、個(gè)點(diǎn)縮放到[0，1]這個(gè)范圍，其中前1000個(gè)點(diǎn)用來(lái)訓(xùn)練設(shè)定模型，而剩下的1000個(gè)點(diǎn)用來(lái)在不能看到的情況下測(cè)試設(shè)定模型的預(yù)測(cè)準(zhǔn)確性。在LPWNN-SNPOM(4，2)里面帶有不同的季節(jié)性。在這個(gè)例子中，季節(jié)性因素分別標(biāo)記為1，3，6和12，分別代表月，季度，期和年。把1分配到季節(jié)性因素將會(huì)使預(yù)測(cè)超前一步，所以在太陽(yáng)黑子時(shí)間序列中常常被使用。為了評(píng)價(jià)在測(cè)試數(shù)據(jù)基礎(chǔ)上的設(shè)定模型的一步前向預(yù)測(cè)結(jié)果和與在文獻(xiàn)中匯報(bào)的結(jié)果以及看到該模型的季節(jié)性

32、影響，均方差(MSE)、二次均方差(RMSE)和規(guī)范均方差(NMSE)作為性能指標(biāo)。在文獻(xiàn)中提到的一步前向預(yù)測(cè)差，MSE，RMSE和NMSE的比較以及設(shè)定模型對(duì)1000個(gè)太陽(yáng)黑子的測(cè)試?yán)颖砻?當(dāng)設(shè)定方法用來(lái)預(yù)測(cè)太陽(yáng)黑子時(shí)間序列的未來(lái)值時(shí)，與另一種提到的預(yù)測(cè)方法相比設(shè)定方法能產(chǎn)生更好的結(jié)果。在測(cè)試?yán)又?，?duì)于四個(gè)不同的季節(jié)性即月、季度、期和年的1000個(gè)太陽(yáng)黑子時(shí)間序列的誤差指數(shù)，MSE，RMSE和NMSE的結(jié)果表明，當(dāng)與月相比，季度、

33、期和年展示了一個(gè)巨大的跌幅。總之，可以看到期季度有一個(gè)更小的誤差指數(shù)，這說(shuō)明太陽(yáng)黑子有個(gè)強(qiáng)烈的期季度可以在預(yù)測(cè)過(guò)程中探索。
　　第四，提出了用一種稱(chēng)為基于狀態(tài)相依AR模型的函數(shù)權(quán)重小波神經(jīng)網(wǎng)絡(luò)(FWWNN-AR)模型來(lái)對(duì)非線性時(shí)間序列進(jìn)行建模和預(yù)測(cè)。這種模型利用改進(jìn)的函數(shù)型權(quán)重小波神經(jīng)網(wǎng)絡(luò)(FWWNN)來(lái)逼近狀態(tài)相依AR模型的狀態(tài)相依系數(shù)，使其結(jié)合了狀態(tài)相依AR模型利用少量節(jié)點(diǎn)描述非線性動(dòng)態(tài)特性和FWWNN對(duì)時(shí)域和頻域特性的函數(shù)逼

34、近能力的優(yōu)勢(shì)。FWWNN是包含有輸入層、輸出層、小波層、規(guī)劃層和多項(xiàng)式層的五層小波神經(jīng)網(wǎng)絡(luò)，其中多項(xiàng)式層是與輸入有關(guān)的函數(shù)，用以計(jì)算輸出的動(dòng)態(tài)權(quán)重。該模型通過(guò)三個(gè)不同層次來(lái)學(xué)習(xí)非線性時(shí)間序列的動(dòng)態(tài)特性，分別為AR層、小波網(wǎng)絡(luò)層和函數(shù)型權(quán)重層。函數(shù)型權(quán)重層可使用不同的基函數(shù)，本文選用標(biāo)準(zhǔn)的WNN為函數(shù)型權(quán)重層的函數(shù)變量，從而使得FWWNN-AR模型的性能總優(yōu)于WNN-AR模型，因此，F(xiàn)WWNN-AR模型可認(rèn)為是基于WNN-AR模型的改進(jìn)，

35、FWWNN-AR的線性形式可通過(guò)選擇極大平移因子來(lái)得到。對(duì)數(shù)值實(shí)驗(yàn)和實(shí)際非線性時(shí)間序列的預(yù)測(cè)效果表明了該模型的有效性和優(yōu)越性。
　　1)扭曲長(zhǎng)記憶AR時(shí)間序列;DLM繪制出市場(chǎng)或經(jīng)濟(jì)泡沫。為進(jìn)行一次適當(dāng)比較，我們采用在之前已發(fā)表的文章中所應(yīng)用的同一數(shù)據(jù)。此時(shí)間序列由500個(gè)數(shù)據(jù)點(diǎn)組成，其中的400個(gè)數(shù)據(jù)點(diǎn)用于訓(xùn)練模型，而剩余的100個(gè)數(shù)據(jù)點(diǎn)用于檢驗(yàn)所提出模型在未知情況下的性能。主要任務(wù)是利用含有3種不同權(quán)重基函數(shù)的FWWNN-AR

36、X(4，2，2)模型來(lái)得到DLM的一步前向預(yù)測(cè)。所得結(jié)果顯示出，作為最好模型出現(xiàn)的FWWNN-AR1模型而言，所提出的模型有更好的性能。并且所提出的模型能夠超越WNN-AR模型，這也證明了所提出的模型是基于WNN-AR模型的改進(jìn)。這些性能一部分是因?yàn)樗岢瞿Ｐ蜋?quán)重分擔(dān)非線性與小波間隔的能力。此外，對(duì)于擾動(dòng)數(shù)據(jù)，所提出模型所獲得預(yù)測(cè)精確的水平顯示出其對(duì)于擾動(dòng)數(shù)據(jù)的魯棒性。
　　2) Mackey-Glass時(shí)間序列;在這一部分，兩個(gè)

37、方案和如在(2)一樣的條件下進(jìn)行研究，在第一種方案，通過(guò)利用不同的延遲得到的結(jié)果和那些在參考文獻(xiàn)中的模型得到的結(jié)果進(jìn)行比較來(lái)計(jì)算這個(gè)模型的性能值。三種不同權(quán)值基函數(shù)用于進(jìn)行比較。結(jié)果表明當(dāng)考慮同一滯后時(shí)，和RBF, RBF-AR, WNN-AR以及LLRBF-AR模型比較，所提出模型不僅會(huì)有一個(gè)更小的預(yù)測(cè)誤差，而且有更小的AIC值。這也表明所提出模型比RBF, RBF-AR, WNN-AR以及LLRBF-AR模型需要更少的時(shí)間序列延遲來(lái)

38、使性能達(dá)到更好。此外，我們可以看出FWWNN-AR模型未知數(shù)據(jù)的預(yù)測(cè)精度會(huì)降低為標(biāo)準(zhǔn)WNN-AR模型未知數(shù)據(jù)預(yù)測(cè)精度的40，47％，38，78％和56，21％分別對(duì)于5，6和7個(gè)滯后。這也證實(shí)FWWNN-AR模型是基于WNN-AR模型的一個(gè)改進(jìn)。在第二個(gè)方案，此項(xiàng)方案的任務(wù)是從一個(gè)固定的輸入中預(yù)測(cè)出y(t+6)。和其他例舉的方法相比較，所提出模型能夠得到更好的預(yù)測(cè)精度。在學(xué)習(xí)的過(guò)程中，通過(guò)SNPOM對(duì)基于3種權(quán)值基礎(chǔ)函數(shù)的FWWNN-A

39、R模型預(yù)測(cè)誤差的反復(fù)估算，使預(yù)測(cè)誤差會(huì)減小到一個(gè)很小的值。
　　3)洛倫茲時(shí)間序列:如(2)中使用的洛倫茲因子，本章節(jié)中，主要工作是通過(guò)FWWNN-ARX(5，2，2)三種不同的權(quán)重因子獲得非線性時(shí)間序列一步預(yù)測(cè)。NMSE用來(lái)訓(xùn)練和測(cè)試參考文獻(xiàn)中的這些關(guān)于相同時(shí)間序列的模型，并且用來(lái)做對(duì)比。與別的模型對(duì)比可以看出FWWNN-ARX模型只需要更少的節(jié)點(diǎn)就能得到最小的方差。結(jié)果顯示了很好地統(tǒng)計(jì)特性也證明了處理動(dòng)態(tài)原始數(shù)據(jù)更有效率。FW

40、WNN-AR模型優(yōu)于其他的模型，這個(gè)模型減少了98.90％檢驗(yàn)誤差，而WNN-AR模型只減少了97.86％。
　　4)太陽(yáng)黑子時(shí)間序列:如(3)中所描述的數(shù)據(jù)。在這個(gè)例子中一步向前預(yù)測(cè)使用FWWNN-ARX模型使用三種不同權(quán)重函數(shù)。 MSE，RMSE和NMSE測(cè)試前面模型得來(lái)的太陽(yáng)黑子時(shí)間序列，用來(lái)與參考文獻(xiàn)中其他的一些經(jīng)典方法做對(duì)比。對(duì)照可以發(fā)現(xiàn)在模型中輸入層、隱含層、輸出層均只要一個(gè)神經(jīng)元，AR時(shí)間延遲為4。而第二個(gè)模型輸入層

41、需要五個(gè)神經(jīng)元，隱含層需要7個(gè)，輸出層需要5個(gè)神經(jīng)元和7個(gè)recurrent neurons。因此本模型只需要更少的非線性參數(shù)就可以得到比其他模型更好的結(jié)果。在例子中，提出的所有的模型得到了相似的結(jié)果，同時(shí)也比標(biāo)準(zhǔn)的WNN-AR和其他模型效果更好。
　　5)Australian sparkling wine time series:這個(gè)時(shí)間序列和章節(jié)(2)中提到一樣，在2.2.2 FWWNN-ARX中使用三種不同的權(quán)重的基函數(shù)。通

42、過(guò)連續(xù)五年的平均絕對(duì)誤差百分比(MAPE)和均方誤差(MSE)，并且按月，半年，一年得到平均值，以及與SARIMA的年平均作對(duì)比。從中得出本模型的半年平均和年平均有更好的效果，即使本模型中使用的是半年的數(shù)據(jù)值而SARIMA采用的年平均值。但是也有一些年份SRIMA模型有更好的效果。此外，所有模型中效果最好的年平均值，這是SARIMA作者的建議，數(shù)據(jù)按年來(lái)做計(jì)算。按照年數(shù)據(jù)FWWNN-AR1、FWWNN-AR4、FWWNN-AR5和SAR

43、IMA對(duì)比MAPE和MSE參數(shù)，F(xiàn)WWNN-AR5是效果最好的模型。該模型比標(biāo)準(zhǔn)的WNN-AR有著更好的效果，進(jìn)一步證明了是比WNN-AR更好的模型。
　　6)煤氣爐時(shí)間序列:盡管煤氣爐的數(shù)據(jù)可以近似線性的輸入-輸出行為，然而很多非線性的建模方法用在對(duì)線性模型的建模和預(yù)測(cè)上。這種異常主要是由輸入結(jié)構(gòu)引起的。這個(gè)例子的主要目的是對(duì)于這些線性數(shù)據(jù)，本文提出的模型與其他的線性與非線性模型的效果對(duì)比。為了對(duì)比，這里使用圖3中的數(shù)據(jù)，同時(shí)列

44、出了一些比較所用到的條件。總共用到了五組測(cè)試數(shù)據(jù)，五組數(shù)據(jù)的輸入及用來(lái)測(cè)試和檢驗(yàn)的數(shù)據(jù)長(zhǎng)度不同。模型的輸入包括過(guò)去的輸入及輸出。每一個(gè)例子使用本文提出的模型進(jìn)行一步預(yù)測(cè)。第一個(gè)例子用y(t-1)和u(t-4)作為模型的輸入來(lái)計(jì)算y(t)，u1（x(t-q））=x(t-q)2用來(lái)衡量基函數(shù)的權(quán)重。
　　從AIC來(lái)看，本文提出的線性模型的AIC明顯大于非線性模型。這說(shuō)明非線性模型對(duì)這些數(shù)據(jù)的建模效果更好。這里同樣列出了本文提出的非線性

45、模型與其他的非線性模型的對(duì)比結(jié)果。第二個(gè)例子使用，y(t-1)，u(t-3)及u(t-4)作為模型的輸入來(lái)獲得模型的輸出y(t)，u1(x(t-q))=x(t-q)2用來(lái)衡量基函數(shù)的權(quán)重。同樣可以看到線性模型的AIC大于非線性模型的AIC。從結(jié)果可以看出來(lái)，非線性模型的更加適合用于對(duì)煤氣爐的建模及預(yù)測(cè)。此外，與其他的非線性模型相比較，在獲得同樣的精度的條件下，本文提出的非線性模型使用了更少的神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)。在第三個(gè)例子中使用y(t-1)，

46、u(t-3)，u(t-4)和u(t-5)作為模型的輸入，u1(x(t-q))=x(t-q)2用來(lái)衡量基函數(shù)的權(quán)重。同樣可以看出，本文提出的線性模型的AIC比本文所提出的非線性模型的AIC要大，非線性模型更加適合對(duì)煤氣爐模型進(jìn)行建模和預(yù)測(cè)。同樣可以看到本文提出的非線性模型的MSE是0.086，而Nie所提出來(lái)的模型的MSE是57.98。在第四個(gè)例子中使用y(t-1)，u(t-2)，u(t-3)，u(t-5)和u(t-6)作為模型的輸入，u

47、1（x(t-q)）=x(t-q)2用來(lái)衡量基函數(shù)的權(quán)重。前200個(gè)數(shù)據(jù)用來(lái)訓(xùn)練模型，后40個(gè)數(shù)據(jù)用來(lái)測(cè)試模型。獲得的線性模型的AIC與非線性模型比較，在訓(xùn)練數(shù)據(jù)中線性模型的AIC較大，而訓(xùn)練數(shù)據(jù)中的線性模型的AIC較小。這意味著線性模型比非線性模型更加適合。這是因?yàn)檩斎牒洼敵鲇泻軓?qiáng)的線性結(jié)構(gòu)。因而在這個(gè)例子中提出的線性模型的MSE比非線性模型的MSE更小。最后一個(gè)例子中使用y(t-1)，y(t-2)，y(t-3)，y(t-4)，u(t-

48、1)，u(t-2)，u(t-3)，u(t-4)，u(t-5)和u（t-6）。這種結(jié)構(gòu)廣泛使用。u1（x(t-q)）=x(t-q)11用來(lái)衡量基函數(shù)的權(quán)重。為了跟以前的工作進(jìn)行比較，使用的數(shù)據(jù)為290個(gè)，前145個(gè)數(shù)據(jù)用來(lái)訓(xùn)練本文提出的模型。可以看出來(lái)本文提出的線性模型的AIC遠(yuǎn)大于非線性模型的AIC。這意味著對(duì)于這一組輸入的煤氣爐的數(shù)據(jù)，非線性模型更加適合用來(lái)建模和預(yù)測(cè)。此外，本文提出的非線性模型因?yàn)橹挥玫搅艘粚与[含層，因而用到的參數(shù)比

49、其他的模型更少。與第二好的模型對(duì)比，F(xiàn)WWNN-AR1(1，1，10)模型在訓(xùn)練數(shù)據(jù)上的MSE比第二好的模型小77.34％，在測(cè)試數(shù)據(jù)上比第二好的模型小36.74％。有這么好的結(jié)果，主要是因?yàn)楸疚奶岢龅哪Ｐ偷臋?quán)重是動(dòng)態(tài)的。
　　最后，將提出的FWWNN-AR模型在控制中進(jìn)行了應(yīng)用，一種基于ARX模型的擴(kuò)展指數(shù)型小波神經(jīng)網(wǎng)絡(luò)(EW-WNN-ARX)模型作為模型預(yù)測(cè)控制的內(nèi)模用以對(duì)船舶進(jìn)行控制。為了得到穩(wěn)定的系統(tǒng)，用航向偏離角角速度作

50、為模型輸出，建立EW-WNN-ARX模型來(lái)描述動(dòng)態(tài)船舶航向偏離角和舵角之間的差異。為了描述船舶的動(dòng)態(tài)非線性特征，滾動(dòng)角作為狀態(tài)特征量用以引導(dǎo)模型參數(shù)變化以反映船舶的運(yùn)動(dòng)狀態(tài)。采用SNPOM離線辨識(shí)EW-WNN-ARX模型以避免在線優(yōu)化帶來(lái)的諸多問(wèn)題，估計(jì)出的模型實(shí)質(zhì)是一個(gè)以航向偏離角描述船舶位置軌跡誤差特征的數(shù)學(xué)模型，這種模型是統(tǒng)計(jì)模型和數(shù)學(xué)模型的結(jié)合體，稱(chēng)為E-EW-WNN-ARX-MM模型。通過(guò)該模型可建立起船舶運(yùn)動(dòng)的狀態(tài)空間模型并