PSO優(yōu)化神經(jīng)網(wǎng)絡(luò)算法的研究及其應(yīng)用.pdf

1、傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法存在收斂速度慢，易陷入局部最優(yōu)等缺陷。近年來出現(xiàn)的群智能優(yōu)化算法如粒子群優(yōu)化(PSO)算法具有較好的全局收斂性能，可用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)參數(shù)和結(jié)構(gòu)。許多研究者提出了一些改進(jìn)的PSO算法，但是仍存在各種不足之處。本文在對現(xiàn)有改進(jìn)算法進(jìn)行總結(jié)的基礎(chǔ)上，著重針對保持PSO算法中種群的多樣性、充分挖掘問題對象中蘊(yùn)含的先驗信息并耦合至PSO兩方面提出了幾種新的改進(jìn)算法，同時將新算法應(yīng)用于DNA微陣列數(shù)據(jù)處理的研究中。
　　

2、 論文主要工作包含如下四個方面:
　　 1)現(xiàn)有的諸多PSO算法在迭代過程中微粒群的多樣性不能很好地保持，針對此問題提出了一種改進(jìn)的分期變異PSO(SMPSO)算法，用于優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)及結(jié)構(gòu)。SMPSO在早期對微粒值進(jìn)行變異，后期對個體極值和全局極值進(jìn)行隨機(jī)擾動，始終將微粒群的多樣性保持在合理范圍。通過在兩類分類數(shù)據(jù)集上的實驗結(jié)果表明采用SMPSO訓(xùn)練神經(jīng)網(wǎng)絡(luò)比傳統(tǒng)算法更加有效，在收斂速度和分類精度上均有提高。
　　

3、 2)問題對象中蘊(yùn)含有大量先驗信息，將其提取出來并耦合進(jìn)神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法中可以加快收斂速度，提高模型處理準(zhǔn)確性。但是，將先驗信息耦合進(jìn)PSO算法這方面的研究不多，因此.本文首先在函數(shù)逼近方面做了一些研究工作。在解決函數(shù)逼近問題時，提出了耦合兩種先驗信息的PSO優(yōu)化神經(jīng)網(wǎng)絡(luò)算法。首先將提取的兩種函數(shù)特征轉(zhuǎn)化成等價的數(shù)學(xué)表達(dá)式，后耦合進(jìn)PSO算法中用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)。實驗結(jié)果表明先驗信息能使算法快速收斂，提高逼近精度，并且，兩類先驗信息對于不

4、同函數(shù)的逼近效果有一定差異。
　　 3)在解決分類問題時，針對樣本集大小的情況，分別提出了兩種對應(yīng)的耦合先驗信息的PSO優(yōu)化神經(jīng)網(wǎng)絡(luò)算法。第一，利用貝葉斯方法抽取樣本的先驗信息，耦合進(jìn)PSO算法，然后用于訓(xùn)練BP神經(jīng)網(wǎng)絡(luò);第二，利用支持向量機(jī)(SVM)算法處理小樣本的優(yōu)勢，經(jīng)過一定轉(zhuǎn)化，將先驗信息耦合進(jìn)PSO，后與PLS算法相結(jié)合，用于優(yōu)化徑向基(RBF)神經(jīng)網(wǎng)絡(luò)參數(shù)和結(jié)構(gòu)。實驗結(jié)果證明了先驗信息能縮小初始搜索空間，引導(dǎo)微粒飛行