支持向量機算法的若干問題研究.pdf

1、支持向量機還是一門嶄新的技術(shù).無論是理論上還是實際應(yīng)用中,都有許多問題亟待解決,如訓(xùn)練算法速度慢、參數(shù)值的選取等.論文針對以上問題,主要對支持向量機算法進行了研究.首先,介紹了論文的研究背景、統(tǒng)計學(xué)習(xí)理論的發(fā)展和支持向量機的研究進展及論文的主要內(nèi)容.并對統(tǒng)計學(xué)習(xí)理論和支持向量機做了簡單的介紹,如VC維、結(jié)構(gòu)風(fēng)險最小化原則、學(xué)習(xí)過程的一致性等.在此基礎(chǔ)上,論文討論了線性回歸方法及神經(jīng)網(wǎng)絡(luò)用于解耦控制的缺陷.提出了一種分別基于KRR和SVR

2、方法的開環(huán)解耦控制策略,從理論上分析了KRR與SVR用于函數(shù)回歸估計的差異.并從實驗上與采用神經(jīng)網(wǎng)絡(luò)的解耦控制系統(tǒng)進行了對比.參數(shù)選擇是影響支持向量機實用性能的重要因素.以往的參數(shù)調(diào)整算法大都是建立在直接對整個參數(shù)空間進行搜索的基礎(chǔ)上.當(dāng)可調(diào)參數(shù)個數(shù)超過2個時,算法往往變得不可行.本文在分析現(xiàn)有參數(shù)調(diào)整方法的基礎(chǔ)之上,提出了一種基于懲罰函數(shù)的有約束的參數(shù)調(diào)整算法,并主要應(yīng)用于RBF核參數(shù)調(diào)整.仿真實驗表明,該算法能夠有效地調(diào)整支持向量機

3、的參數(shù),提高支持向量機的泛化性能,有利于支持向量機的廣泛應(yīng)用.支持向量回歸算法是統(tǒng)計學(xué)習(xí)理論中的重要組成部分.本文對統(tǒng)計學(xué)習(xí)理論提供的支撐向量回歸算法以及正則化方法進行了研究.支持向量回歸訓(xùn)練算法需要解決在大規(guī)模樣本條件下的凸二次規(guī)劃問題.盡管此種優(yōu)化算法的機理已經(jīng)有了較為明確的認(rèn)識,但已有的支持向量回歸訓(xùn)練算法仍較為復(fù)雜且收斂速度較慢.為解決這些問題,論文首先引入在SVR的目標(biāo)函數(shù)中引入閾值量b<'2>/2,使其對偶問題中不含有等式約

4、束條件.并采用擴展方法使之與支撐向量機分類算法具有相似的數(shù)學(xué)形式,最后在此基礎(chǔ)上提出了一種簡化SOR算法.與現(xiàn)有的由Smola設(shè)計的SMO方法相比,簡化算法的數(shù)學(xué)形式簡潔,在不增加算法空間和時間復(fù)雜度的前提下避免了大量繁復(fù)的判別條件,較大幅度地簡化了算法實現(xiàn),有利于SVR的廣泛使用.先驗知識在處理分類問題時起著十分重要的作用.正確考慮先驗知識,能夠幫助選擇合適的分類器,降低分類誤差.在實際中,數(shù)據(jù)的分布往往符合空間中某一特定形狀.基于距