最小二乘支持向量機(jī)的若干問(wèn)題與應(yīng)用研究.pdf

1、支持向量機(jī)集成了結(jié)構(gòu)風(fēng)險(xiǎn)最小化、凸二次規(guī)劃和核函數(shù)映射等幾項(xiàng)技術(shù)，有效地解決了在經(jīng)典機(jī)器學(xué)習(xí)中出現(xiàn)的“維數(shù)災(zāi)難”和“局部極小”等傳統(tǒng)困難，并在許多領(lǐng)域得到應(yīng)用。最小二乘支持向量機(jī)是支持向量機(jī)的一個(gè)改進(jìn)模型，秉承了支持向量機(jī)的基本思想，并簡(jiǎn)化了標(biāo)準(zhǔn)支持向量機(jī)的計(jì)算復(fù)雜性，在控制領(lǐng)域具有很大的應(yīng)用潛力。本文對(duì)最小二乘支持向量機(jī)的若干問(wèn)題進(jìn)行了較為深入的研究，主要貢獻(xiàn)如下：
　　 (1)理論上解釋了LS-SVM核函數(shù)矩陣在某些非正定的

2、情況下也能取得較好學(xué)習(xí)效果的原因。利用矩陣分塊的思想，將LS-SVM的優(yōu)化求解(分類和回歸是等價(jià)的)問(wèn)題轉(zhuǎn)換為一個(gè)低階的對(duì)稱正定線性系統(tǒng)。并發(fā)展了具有更小條件數(shù)的預(yù)處理共軛梯度算法(Preconditioned Conjugate Gradient，PCG)，從而減少LS-SVM學(xué)習(xí)過(guò)程迭代次數(shù)，使訓(xùn)練速度得到明顯提高。
　　 (2)指出了現(xiàn)有L-P小波核函數(shù)的不足：固定了基本小波的頻率帶寬，無(wú)法較好逼近頻率豐富的信號(hào)。并提出了

3、可調(diào)帶寬的Modified L-P小波核函數(shù)，由于該核函數(shù)通過(guò)平移伸縮可以構(gòu)成平方可積空間上一組完備的基，能逼近復(fù)雜的函數(shù)，并通過(guò)調(diào)整帶寬因子對(duì)突變信號(hào)具有逐步精細(xì)的描述特性，提高了支持向量機(jī)的泛化性能。
　　 (3)為簡(jiǎn)化計(jì)算復(fù)雜性，將可調(diào)帶寬的Modified L-P小波核函數(shù)作LS-SVM的核函數(shù)，提出了Modified L-P小波核最小二乘支持向量機(jī)。為支持向量機(jī)的模型選擇提供了新的核函數(shù)。實(shí)驗(yàn)結(jié)果表明，新的Modifi

4、ed L-P小波核函數(shù)最小二乘支持向量機(jī)的建模和逼近能力優(yōu)于基于L-P小波核函數(shù)或高斯核函數(shù)最小二乘支持向量機(jī)。
　　 (4)分析了Suykens提出的加權(quán)LS-SVM對(duì)存在強(qiáng)野點(diǎn)的稀疏數(shù)據(jù)進(jìn)行回歸建模的不足和避免“過(guò)度擬合”，并利用具有全局特性的柯西分布概率密度函數(shù)，提出了基于柯西分布加權(quán)方法。由于考慮了生產(chǎn)過(guò)程中樣本數(shù)據(jù)的稀疏性并存在噪聲和野點(diǎn)，因此與原加權(quán)方法相比，新的加權(quán)方法更具有強(qiáng)的抗干擾性。
　　 (5)指出

5、了加權(quán)的Modified L-P小波最小二乘支持向量機(jī)是離線式批量算法，當(dāng)新樣本序貫加入模型時(shí)，訓(xùn)練將這一時(shí)刻前所有數(shù)據(jù)都納入計(jì)算樣本，并重復(fù)這一過(guò)程，計(jì)算復(fù)雜性高，不適合在線學(xué)習(xí)的問(wèn)題。為此，利用塊矩陣?yán)碚?，提出了新的加?quán)迭代格式，避免了序貫加入新樣本和剔除過(guò)時(shí)樣本需重新矩陣求逆的運(yùn)算，并根據(jù)擬合誤差的大小，賦予樣本不同的權(quán)值，使加權(quán)迭代Modified L-P小波最小二乘支持向量機(jī)具有了一定的稀疏性和較好的抗噪聲干擾性，并拓展了它在