最小二乘支持向量回歸機(jī)算法及應(yīng)用研究.pdf

1、本文針對最小二乘支持向量回歸機(jī)(Least squares support vector regression machine, LSSVRM)算法及其在大氣污染物濃度預(yù)測中的應(yīng)用問題,研究了LSSVRM的參數(shù)選擇和訓(xùn)練算法,主要內(nèi)容包括:
　　首先,正則化參數(shù)和核參數(shù)影響LSSVRM模型的復(fù)雜度和泛化性能,參數(shù)選擇是建模的前提。結(jié)合差分進(jìn)化具有較強(qiáng)的全局優(yōu)化能力和擬牛頓法具有局部開發(fā)能力并且收斂速度快等優(yōu)點(diǎn),提出差分進(jìn)化和擬牛頓

2、法相結(jié)合的參數(shù)選擇算法。將對參數(shù)可微的快速l折交叉驗(yàn)證均方誤差作為適應(yīng)度函數(shù),在每一代種群進(jìn)化中先采用差分進(jìn)化算法進(jìn)行全局搜索,從中選出性能較好的精英個(gè)體,再使用擬牛頓法進(jìn)行局部開發(fā),提高精英個(gè)體的性能。在四個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集、二元函數(shù)逼近問題和太陽黑子數(shù)預(yù)測問題上驗(yàn)證了所提算法的有效性。
　　其次,針對自適應(yīng)剪枝LSSVRM算法存在泛化性能不理想和訓(xùn)練速度慢的不足,提出改進(jìn)的自適應(yīng)剪枝LSSVRM算法。為增強(qiáng)泛化性能,采用最小絕對留一

3、誤差的剪枝策略,并提出停止條件中包含所有訓(xùn)練樣本約束的新目標(biāo)函數(shù)。為加快訓(xùn)練速度,使用被剪枝樣本和快速留一誤差加快驗(yàn)證減量學(xué)習(xí)后得到的臨時(shí)模型。在六個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上驗(yàn)證了所提算法的有效性。
　　然后,針對LSSVRM的解缺乏稀疏性,采用向量相關(guān)分析在高維特征空間約簡支持向量。為使約簡模型最佳逼近原模型,提出原模型與約簡模型預(yù)測訓(xùn)練樣本的誤差平方和作為新性能評價(jià)準(zhǔn)則。定義了離散加法、減法和乘法算子,并將新性能評價(jià)準(zhǔn)則作為適應(yīng)度函數(shù),采

4、用整數(shù)編碼差分進(jìn)化算法進(jìn)行全局優(yōu)化得到最優(yōu)約簡模型。在四個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上驗(yàn)證了所提算法的有效性。
　　再次,針對LSSVRM算法魯棒性差,采用基于留一誤差的魯棒“3σ”準(zhǔn)則檢測并刪除異常樣本以增強(qiáng)魯棒性。在保證魯棒性的基礎(chǔ)上，采用基于最小絕對留一誤差的剪枝策略刪除不重要樣本以提高稀疏性。為降低計(jì)算量,采用減量學(xué)習(xí)更新模型和快速留一誤差。在一元函數(shù)數(shù)據(jù)集和五個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上驗(yàn)證了所提算法的有效性。
　　最后,建立了哈爾濱市冬季大氣