Enhancing Radial Basis Function Neural Network for Accurate Forecasting.pdf

1、如今，工程師、科學家、企業(yè)家們都致力于事先預測出未來的發(fā)展及需求，針對各個目標制定相應的計劃，并提供解決方案，以期改善某一領域。對未來事件的預測，在各個學科中均通過大量方法和技術得以廣泛研究。從整體上來看，針對各種問題及假設，沒有哪種單一的算法能一貫地優(yōu)于其它算法?，F(xiàn)今，越來越多的人研究預測算法，并提出了有關預測的各種算法，例如，模糊時間序列預測算法，落點預測算法，基于Kalman的預測算法，RBF神經網絡的預測算法，這些算法都具有各自

2、的優(yōu)點和不足。
　　本文提出將兩種啟發(fā)式優(yōu)化算法即粒子群優(yōu)化算法和蝙蝠算法融入到RBF神經網絡中，通過全局搜索和優(yōu)化RBF神經網絡的參數(shù)設置，提高RBF神經網絡的預測能力。下面將簡單闡述RBF神經網絡，粒子群優(yōu)化算法以及蝙蝠算法的由來和相關理論知識。
　　徑向基神經網絡簡稱RBF神經網絡是由C.Darken和J.Moody在1989年首次提出的概念。從本質上來說,RBF神經網絡的最基本的理論基礎是函數(shù)逼近理論;從結構上來說,

3、RBF神經網絡是一種具有高效能的RBF神經網絡。RBF神經網絡主要有三層網絡組建而成,主要包括輸入層、輸出層以及隱含層三層。從RBF網絡的拓撲結構分析中,我們發(fā)現(xiàn)對于RBF神經網絡的運行,必須對該神經網絡進行訓練與學習,其中包括的主要參數(shù)分別是徑向基函數(shù)的寬度、徑向基函數(shù)的中心以及輸出層和隱含層兩層節(jié)點之間的連接權值。所以，在對某一事件進行預測時，必須基于樣本數(shù)據(jù)構建相空間,選擇一定的數(shù)量相點對RBF神經網絡進行必要的學習訓練。在傳統(tǒng)的

4、RBF神經網路學習訓練過程中,一般采用的都是最近鄰聚類學習算法,從本質上來說,傳統(tǒng)的RBF神經網路學習算法是屬于在線自適應學習算法中的一種,因為最近鄰聚類算法是不需要認為主觀性的來事先對隱含層節(jié)點的數(shù)量進行確定,只需要完成聚類的目標,進而實現(xiàn)了網絡最優(yōu)化的選擇。最近鄰聚類算法的主要思路分為四個部分。
　　第一,根據(jù)相關的理論基礎,對于徑向基函數(shù)的寬度的確定,是根據(jù)事先選擇一個合適的常數(shù)確定,此時的常數(shù)是判斷輸入的確定數(shù)據(jù)屬于聚類半

5、徑的依據(jù)。
　　第二,在用作神經網絡訓練的樣本數(shù)據(jù)中,對于第一對數(shù)據(jù)，第一個隱含層的中心點就是輸入的變量,即中心點與輸入變量相等,隱含層和輸出層兩層的連接權值就是輸入變量。
　　第三,處理完第一對數(shù)據(jù)后,第二對數(shù)據(jù)的輸入,首先計算輸入變量與第一個隱含層中心的距離，此時分為兩種情況:如果此距離比第一步驟中選擇的常數(shù)大,則第二個隱含層的中心就是輸入變量，隱含層的連接權值就是輸入變量。若此距離小于等于第一步驟中選擇的常數(shù)，那么第一

6、個隱含層中心就是輸入變量的最近鄰聚類，此時隱含層的連接權值就是第一個輸出向量和第二個輸出向量的平均值。
　　第四,對于第i對數(shù)據(jù)的計算,依次重復上一步的運算，關鍵的是確定第i個輸入變量和第i個隱含層中心之間的距離，此時的距離是前m個所計算出的距離的最小值，此時分為兩種情況，如果距離比常數(shù)大，則第i個輸入變量的第M+1個隱含層的中心就是第j個輸入變量，此時隱含層的連接權值就是輸入變量。如果距離小于等于常數(shù)，那么第j個隱含層的中心就是

7、第j個輸入變量的最近鄰聚類，此時隱含層的連接權值就是所有輸出向量的平均值。
　　在RBF神經網絡模型的構建中,其中最關鍵的一個環(huán)節(jié)就是數(shù)據(jù)聚類。簡單的來說,數(shù)據(jù)聚類就是遵循著“在同類簇的數(shù)據(jù)中尋找相似度高的數(shù)據(jù),在異類族的數(shù)據(jù)中尋找相似度低的數(shù)據(jù)”的原則,在一個時間序列中尋找所有的類簇。從本質上講,RBF神經網絡靜態(tài)寬度的算法是一種基于共享最近鄰的理念的一種聚類算法,它的實現(xiàn)主要是通過時間序列中數(shù)據(jù)點共享最近鄰的數(shù)據(jù)點的個數(shù),將其

8、個數(shù)作為整個時間序列的相似度,從而達到處理變密度簇問題的目的,進而在高位數(shù)據(jù)甚至是在含有噪音的條件下發(fā)現(xiàn)形狀不同、大小不同以及密度不同的空間聚類。這類算法的特點是同時結合了ROCK思想和密度方法,保留K最近鄰簡化相似矩陣和個數(shù)。這類算法的優(yōu)點是在變密度簇中的聚類效果特別明顯,并且具有計算量小、訓練時間短的特點。因為它不需要事前確定隱單元層的個數(shù),在 RBF神經網絡訓練的過程中可以實現(xiàn)自動調節(jié)的功能,而且,只需要進行一次迭代即可,便可以得

9、到基于一定精度的擬合效果,其訓練速度是相當快的。但是根據(jù)大量的實驗結果來看,這種算法也存在著一定的缺陷,整體擬合的效果并沒有達到一個較為理想的狀態(tài)。傳統(tǒng)的RBF神經網絡訓練學習算法的一個主要缺點就是中心個數(shù)要求預先固定,僅僅考慮的是RBF神經網絡的輸入信息,而忽略的神經網絡的輸出
　　信息,但是RBF神經網絡訓練學習的目的是希望在一定指標的基礎上減小期望輸出和實際輸出之間的誤差,因此,應該從考慮樣本輸出的角度進行原來算法的改進。因

10、為這種算法容易陷入局部最優(yōu)解的局面,同時擬合效果的好壞是對選擇的初始聚類中心依賴性較強,對于異常數(shù)據(jù)顯示的較為敏感,可能造成聚類結構不平衡的效果。同時,一方面,因為在研究中所釆用的數(shù)據(jù)是時間序列,所以對預測效果具有很大影響的一個因素就是輸入樣本的次序。另一方面,RBF神經網絡寬度的選擇是預測效果影響的直接因素,如果寬度選取的過小時,整體上是對后面的數(shù)據(jù)擬合效果呈現(xiàn)較好的結果;如果寬度選取的過大時,整體上是對前面的數(shù)據(jù)擬合效果呈現(xiàn)較好的結

11、果。
　　粒子群優(yōu)化(Particle Swarm Optimization,簡稱PSO)是由Kennedy和Eberhart等人于1995年提出的一類模擬群體智能行為的優(yōu)化算法。PSO算法的仿生基點是模仿鳥這類群體動物通過群聚而有效地覓食和逃避追捕行為。在這類群集的動物中,每個個體的行為除了自身本能行為外,還建立在群體行為的基礎之上的。因為其種群存在“群集智能”,即在整個群體中信息是共享的,而且在個體之間存在著信息的交換與協(xié)作。

12、PSO以模擬鳥的群集智能為特征,以求解連續(xù)變量優(yōu)化問題為背景。由于其收斂速度快、編程易實現(xiàn)并且參數(shù)調整方便,因而一經提出就成為智能優(yōu)化與進化計算領域的一個新的研究熱點。目前已經廣泛應用于目標函數(shù)優(yōu)化、動態(tài)環(huán)境優(yōu)化、神經網絡訓練、模糊控制系統(tǒng)等許多領域,并且在工程應用方面有了較大進展。粒子群優(yōu)化算法的建立,借鑒了Reynolds在1986年提出的人工生命系統(tǒng)biod模型和生物學家Heppner提出的鳥類模型,其基本思想是通過群體中個體之間

13、的寫作和信息共享來尋找最優(yōu)解。與其他群體智能算法不同在于,PSO將每個個體視為n維搜索空間中的一個沒有重量和體積的“鳥”也即“粒子”。它們有自己的初始位置,有一個由優(yōu)化函數(shù)確定的函數(shù)值,具有自主記憶能力并追尋當前最優(yōu)的粒子位置,以一定的速度在搜索空間中飛行,該速度以個體和群體的飛行經驗進行動態(tài)調整。PSO算法中,每個優(yōu)化問題的解都是搜索空間中的一個粒子,所有的粒子都有一個由被優(yōu)化的函數(shù)決定的適應度值,每個粒子還有一個速度決定它們飛翔的方

14、向和距離。然后粒子們就追隨當前的最優(yōu)粒子在解空間中搜索。該算法初始化為一群隨機粒子(隨機解),然后通過迭代找到最優(yōu)解,在每一次迭代中,粒子通過兩個“極值”來更新自己。一個是粒子本身所找到的最優(yōu)解,這個解叫做個體極值;另一個極值是整個種群目前找到的最優(yōu)解,這
　　這個極值是全局極值gBest。在找到兩個最優(yōu)值后,粒子根據(jù)相應的公式來更新自己的速度和位置。
　　粒子群算法的主要特點主要體現(xiàn)在以下幾個方面：
　　（1）信息共

15、享制度
　　粒子群算法是在全局范圍內來共享搜索的信息,在個體看來,粒子根據(jù)自身的歷史飛行經驗來不斷調整自己的新搜索方向。從種群來看,整個種群中所有粒子都朝著全局最優(yōu)值移動,所有粒子共享種群的搜索經驗。
　?。?）全局收斂性能
　　在粒子群算法中,由隨機因子的不確定性和慣性權重擴大搜索的空間并以此來避免種群陷入局部最優(yōu)。
　?。?）算法特點及應用
　　粒子群算法只需移動粒子，而且根據(jù)其位置與速度的更新公式從本

16、質上看，更適合于實數(shù)的優(yōu)化。
　　蝙蝠算法是英國學者 Yang教授受蝙蝠回聲定位能力的啟發(fā),假設在理想狀態(tài)下,利用蝙蝠在覓食時所發(fā)出的脈沖的頻率、響度、脈沖發(fā)射率的變化而模擬設計出來一種群智能算法?；掘惴ㄍㄟ^頻率的調整來定位目標。一般頻率在某一范圍內變化。蝙蝠按脈沖發(fā)射率和響度發(fā)出聲波脈沖,蝙幅在定位的過程中,當發(fā)現(xiàn)目標時會增加脈沖的發(fā)射率，減小響度,從而逼近目標,以致捕食到獵物。蝙蝠算法是一種受蝙蝠的回聲定位行為啟發(fā)的隨機

17、搜索算法,在蝙蝠的速度和位置的更新過程中,頻率本質上控制著這些蝙蝠群的移動步伐和范圍。蝙蝠在尋優(yōu)過程中,通過調節(jié)脈沖發(fā)射率和響度促使蝙幅朝著最優(yōu)解方向移動。蝙蝠在剛開始搜索時具有較小的脈沖發(fā)射率,蝙幅有較大的概率在當前最優(yōu)周圍進行局部搜索,同時較大的響度使得局部搜索的范圍比較大,有較大的概率探索到更好的解,隨著迭代的增加,脈沖發(fā)射率增加,響度減小,局部搜索概率減小,局部挖掘的范圍也很小,蝙幅不斷掃描定位目標,最終搜索到最優(yōu)解。從整個算法

18、框架來講,蝙蝠算法實質上是通過頻率來控制蝙幅個體位置的更新,相當于一個步長因子,這里的頻率是隨機變化的,這個過程可以稱為“位置更新”。第二個過程是主要是通過脈沖發(fā)射率和響度來進行局部搜索,這個過程可以稱為“局部搜索”。算法最后,局部搜索有效后需要進一步加強,減小搜索范圍,同時為了保證一定的種群多樣性,需要減小局部搜索的概率。這個過程可以稱為“步伐控制”。蝙蝠算法在位置更
　　新過程中,頻率的更新屬于隨機選擇,隨機性較強;同時種群之

19、間進行了種群最優(yōu)個體和蝙蝠個體之間的交流,具有一定的搜索指導性。在局部搜索過程中,蝙幅個體在種群最優(yōu)個體周圍進行探索,使得算法具有較快的收斂速度。步伐控制過程中,脈沖發(fā)射率的增加和響度的減小是在局部搜索有效后進行的,減小的響度表示蝙幅個體在靠近獵物。
　　最后，本文將這一算法應用于現(xiàn)實數(shù)據(jù)來進行測試及預測，實驗結果表明粒子群算法及蝙蝠算法能有效提高RBF神經網絡的學習能力，且有較好的準確及誤差收劍速度、較低的均方誤差。同時，通過與