模糊神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)若干問(wèn)題研究.pdf

1、神經(jīng)網(wǎng)絡(luò)(Neural Network,NN)和支持向量機(jī)(Support Vector Machine,SVM)是當(dāng)前機(jī)器學(xué)習(xí)的重要的研究領(lǐng)域,是智能信息處理和機(jī)器學(xué)習(xí)研究領(lǐng)域的重要組成部分,在模式識(shí)別和回歸估計(jì)領(lǐng)域得到廣泛的應(yīng)用。目前,國(guó)內(nèi)外學(xué)者對(duì)神經(jīng)網(wǎng)絡(luò)、統(tǒng)計(jì)學(xué)習(xí)理論及支持向量機(jī)方法的討論和研究非?；钴S。在神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)的理論研究以及融入模糊邏輯的智能信息處理方法的研究發(fā)展很快。但是,在理論方法以及實(shí)際應(yīng)用中還存在許多有待研

2、究的新問(wèn)題,如異常數(shù)據(jù)檢測(cè)、提高學(xué)習(xí)速度、提升推廣性能、模型選擇、增強(qiáng)學(xué)習(xí)過(guò)程的健壯性等。
　　 本文在前人研究成果及前期工作基礎(chǔ)上,對(duì)模糊反向傳播(Fuzzy BackPropagation,FBP)學(xué)習(xí)算法、大規(guī)模訓(xùn)練樣本集的ε-支持向量回歸(ε-SupportVector Regression,ε-SVR)方法、支持向量回歸中異常數(shù)據(jù)剔除方法以及基于后驗(yàn)概率加權(quán)隸屬度的模糊支持向量機(jī)(Fuzzy Support Vecto

3、r Machine,FSVM)等若干問(wèn)題進(jìn)行了較系統(tǒng)的研究,旨在豐富和發(fā)展模糊神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的理論和應(yīng)用研究。主要成果如下:
　　 (1)證明了基于極大-極小模糊算子與S.Stoeva提出的基于神經(jīng)元輸入指標(biāo)集冪集的模糊神經(jīng)網(wǎng)絡(luò)正向計(jì)算過(guò)程的等價(jià)性,進(jìn)而研究了基于極大-極小模糊算子的網(wǎng)絡(luò)權(quán)值修正方法,提出了改進(jìn)的FBP學(xué)習(xí)算法。該算法通過(guò)每個(gè)神經(jīng)元的輸出與相應(yīng)輸入權(quán)值的比較進(jìn)行權(quán)值修正,克服了一般的FBP在權(quán)值修正上僅依據(jù)

4、網(wǎng)絡(luò)輸出與所有連接權(quán)值進(jìn)行比較的不足,使權(quán)值修正更加精確,網(wǎng)絡(luò)學(xué)習(xí)更加穩(wěn)定。通過(guò)在汽輪發(fā)電機(jī)組狀態(tài)監(jiān)測(cè)中的應(yīng)用表明提出的算法是有效的。
　　 (2)為克服已有搜索算法在求解ε-SVR時(shí)存在選擇樣本開(kāi)銷(xiāo)大、效率不高以及收斂約束檢測(cè)代價(jià)大的缺陷,研究了ε-SVR支持向量分布的特性。根據(jù)分布特性確定潛在支持向量區(qū)域以縮減搜索樣本規(guī)模,進(jìn)而提出了大規(guī)模訓(xùn)練樣本集的ε-SVR改進(jìn)逐步搜索算法。即從大規(guī)模訓(xùn)練樣本集中抽取的小樣本集的ε-SV

5、R超平面出發(fā),計(jì)算大訓(xùn)練樣本集中樣本點(diǎn)距這個(gè)近似的超平面的距離d,剔除大訓(xùn)練樣本集中在ε≤d≤dmax外的訓(xùn)練樣本點(diǎn),然后逐步搜索支持向量,建立大訓(xùn)練樣本集的ε-SVR。在對(duì)ε-SVR改進(jìn)搜索算法的有效性分析中,發(fā)現(xiàn)ε-SVR的解稀疏性對(duì)算法時(shí)間復(fù)雜度有較大的影響。為了確保算法有效性,將支持向量稀疏過(guò)程引入搜索算法,以較低的精度損失代價(jià)換取算法的高效,進(jìn)一步提出了大規(guī)模訓(xùn)練樣本集的ε-SVR稀疏搜索算法。
　　 利用給定已知函數(shù)

6、生成樣本數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn),結(jié)果表明本文所提ε-SVR改進(jìn)逐步搜索算法和ε-SVR稀疏搜索算法用SMO或Matlab工具箱求解ε-SVR的速度比改進(jìn)前要快3.9倍,并且隨ε的值和樣本數(shù)增加算法計(jì)算效率增高。因此,研究獲得的新的ε-SVR算法可用于解決大規(guī)模樣本回歸問(wèn)題。
　　 (3)在研究回歸問(wèn)題中理論映射模式與回歸估計(jì)模式兩者關(guān)系的基礎(chǔ)上,定義了回歸問(wèn)題中異常數(shù)據(jù)及其不滿(mǎn)足回歸映射關(guān)系差異程度的度量,給出并證明了回歸問(wèn)題中異常數(shù)

7、據(jù)的若干性質(zhì),進(jìn)而提出回歸問(wèn)題中剔除異常數(shù)據(jù)的逐步逼近定理。然后,提出了以逐步逼近定理為理論依據(jù)支持向量回歸中異常數(shù)據(jù)的剔除算法,并在理論上分析了其收斂性和有效性。
　　 針對(duì)大規(guī)模樣本的支持向量回歸中異常數(shù)據(jù)剔除問(wèn)題,引入逐步搜索算法對(duì)支持向量回歸中異常數(shù)據(jù)的剔除算法進(jìn)行改進(jìn),提出了基于大規(guī)模樣本集的支持向量回歸異常數(shù)據(jù)剔除算法。理論分析顯示改進(jìn)算法也是收斂的和有效的。
　　 利用給定已知函數(shù)生成樣本和UCI機(jī)器學(xué)習(xí)數(shù)

8、據(jù)庫(kù)樣本數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn),結(jié)果顯示有較高的異常數(shù)據(jù)剔除精度,提高了最終SVR模型精度。
　　 (4)為減小異常點(diǎn)及噪聲數(shù)據(jù)對(duì)分類(lèi)超平面的影響,研究了模糊支持向量機(jī)中樣本隸屬度函數(shù)的構(gòu)造方法。借鑒貝葉斯決策理論和樣本密度的思想,依據(jù)不同性質(zhì)樣本點(diǎn)在樣本集中的相對(duì)位置分布,引入樣本點(diǎn)的后驗(yàn)概率和樣本點(diǎn)密度,提出了基于后驗(yàn)概率加權(quán)的隸屬度函數(shù)構(gòu)造方法,進(jìn)而構(gòu)建基于后驗(yàn)概率加權(quán)隸屬度的FSVM。
　　 利用雙螺旋線(xiàn)和UCI機(jī)器學(xué)