超球結(jié)構(gòu)支持向量機(jī)的研究與應(yīng)用.pdf

1、1995年,Cortes和Vapnik[1]首先提出了支持向量機(jī)(SVM)理論,它是結(jié)構(gòu)風(fēng)險(xiǎn)化準(zhǔn)則的具體實(shí)現(xiàn),且具有結(jié)構(gòu)簡(jiǎn)單、全局最優(yōu)以及泛化能力強(qiáng)的優(yōu)點(diǎn),特別是在解決小樣本、非線性和高維模式中表現(xiàn)出特別的優(yōu)勢(shì)。因此該技術(shù)在許多領(lǐng)域得到成功的應(yīng)用。但是支持向量機(jī)有一個(gè)十分明顯的缺點(diǎn)是訓(xùn)練階段以及測(cè)試階段都需要花費(fèi)大量的時(shí)間。這些缺點(diǎn)限制了支持向量機(jī)的應(yīng)用,特別是對(duì)時(shí)間要求嚴(yán)格的應(yīng)用,例如入侵檢測(cè),它最大的要求就是能做到實(shí)時(shí)性,即對(duì)網(wǎng)絡(luò)數(shù)

2、據(jù)做出及時(shí)的決策,進(jìn)而及時(shí)地制止入侵行為。要想將支持向量機(jī)成功的應(yīng)用到入侵檢測(cè),上面的缺點(diǎn)必須要得到解決,使之能做到實(shí)時(shí)決策。超球結(jié)構(gòu)支持向量機(jī)(HSSVM)在一定程度上改進(jìn)了傳統(tǒng)支持向量機(jī)的上述缺點(diǎn),其思想是對(duì)于每一類的樣本,首先用一個(gè)較小的超球包裹樣本,允許偏遠(yuǎn)的離群點(diǎn)位于超球的外部。然后通過(guò)度量一個(gè)新樣本與超球的球心距離來(lái)判斷該新樣本是否屬于該類?？紤]用一個(gè)較小的超球來(lái)包裹樣本,且允許遠(yuǎn)離球心的偏遠(yuǎn)樣本點(diǎn)落在球體外部。但是現(xiàn)實(shí)情況

3、是在大多數(shù)基于距離方程的核函數(shù)(如高斯核函數(shù))中,樣本點(diǎn)在原輸入特征空間中比較密集,而當(dāng)映射到高維空間后,樣本點(diǎn)會(huì)變的非常稀疏。這就直接導(dǎo)致了包裹樣本的超球必須增大,超球的重疊數(shù)目增加,進(jìn)而降低了分類準(zhǔn)確率。本文將從兩個(gè)方面對(duì)(超球結(jié)構(gòu)多類支持向量機(jī))HSSVM進(jìn)行改進(jìn),一是在原目標(biāo)函數(shù)中增加一個(gè)參數(shù),使超球盡可能多地包裹靠近球心的樣本。二是通過(guò)構(gòu)造映射密集型核函數(shù)使樣本點(diǎn)經(jīng)過(guò)非線性映射后仍能保持緊湊,從而減少對(duì)重疊區(qū)域的判斷。最后給出

4、了基于K近鄰算法(KNN)的超球重疊區(qū)域判斷算法。主要工作如下:
　　 (1)利用核模糊聚類算法,提出了基于隸屬度的樣本預(yù)選取方法。利用一定的隸屬度間隔,選取靠近支持向量機(jī)分類超平面的樣本來(lái)訓(xùn)練分類模型。該方法不僅能夠較大地減少訓(xùn)練和測(cè)試時(shí)間,而且分類準(zhǔn)確率毫不遜于利用全部樣本訓(xùn)練所得到的分類模型。
　　 (2)在目標(biāo)函數(shù)和核函數(shù)稀疏性兩個(gè)方面對(duì)超球結(jié)構(gòu)支持向量機(jī)進(jìn)行了改進(jìn),提出了δ-超球結(jié)構(gòu)多類支持向量機(jī)(δ-Hype