支持向量機及半監(jiān)督學(xué)習(xí)中若干問題的研究.pdf

1、隨著信息技術(shù)的飛速發(fā)展，在信息收集和處理的過程中，人們面臨的各種數(shù)據(jù)信息規(guī)模越來越大，構(gòu)成也越來越復(fù)雜，這使得機器學(xué)習(xí)日益受到人們的關(guān)注，成為目前研究的熱點問題之一.由Vapnik提出的統(tǒng)計學(xué)習(xí)理論為機器學(xué)習(xí)問題提供了理論基礎(chǔ)，著重研究有限樣本的統(tǒng)計規(guī)律及學(xué)習(xí)性質(zhì)，使用結(jié)構(gòu)風(fēng)險最小化原則，有效地提高了算法的推廣能力.支持向量機是統(tǒng)計學(xué)習(xí)理論的最新發(fā)展，它具有全局最優(yōu)、適應(yīng)性強、推廣能力強以及解的稀疏性等優(yōu)點，能較好地解決小樣本、非線性、

2、過學(xué)習(xí)、維數(shù)災(zāi)難和局部極小等實際應(yīng)用中的難題，是機器學(xué)習(xí)領(lǐng)域的又一里程碑，從而廣泛應(yīng)用于模式識別、回歸估計、函數(shù)逼近以及密度估計等領(lǐng)城.近年來，受支持向量機的這些優(yōu)勢的啟發(fā)，有學(xué)者提出了一些支持向量機的推廣算法，比如最小二乘支持向量機，中心支持向量機，超球支持向量機(也稱為支持向量域描述)，基于一個球的模式分類方法等，分別從不同的方面對支持向量機進(jìn)行了完善和補充.許多機器學(xué)習(xí)問題中，大量可獲得的數(shù)據(jù)中僅有一小部分容易獲得類別標(biāo)簽，而另一

3、相對大量的部分由于各種原因(不容易獲得類別標(biāo)簽或者獲得標(biāo)簽的代價較大)而未能獲得標(biāo)簽，同時利用這些樣本(包括已標(biāo)簽樣本和未標(biāo)簽樣本)進(jìn)行學(xué)習(xí)的問題被稱為半監(jiān)督學(xué)習(xí).本文主要研究支持向量機及其幾種推廣方法與半監(jiān)督學(xué)習(xí)中存在的若干問題，主要工作如下：
　　 1.研究了大樣本條件下，提高支持向量機學(xué)習(xí)速度和精度的問題.針對支持向量機中大規(guī)模樣本集訓(xùn)練速度慢且分類精度易受野點影響的問題，提出基于殼向量和中心向量的支持向量機算法.其基本步

4、驟是：首先分別求取每類樣本點的殼向量和中心向量；然后將求出的殼向量作為新的訓(xùn)練集進(jìn)行標(biāo)準(zhǔn)的支持向量機訓(xùn)練得到超平面的法向量；最后利用中心向量更新法向量以減少野點的影響得到最終的分類器.實驗表明采用這種學(xué)習(xí)策略，不僅加快了訓(xùn)練速度同時提高了分類精度.
　　 2.研究了支持向量機的兩種推廣方法(最小二乘支持向量機和基于一個球的模式分類方法)對不平衡數(shù)據(jù)集的分類問題.針對最小二乘支持向量機對不平衡數(shù)據(jù)集的分類問題，同時考慮各類樣本的數(shù)

5、量和樣本分散程度的不同，對分離超平面進(jìn)行調(diào)整.該方法克服傳統(tǒng)算法只考慮樣本數(shù)量不平衡的不足，提高了最小二乘支持向量機的泛化能力.針對基于一個球的模式分類方法對不平衡數(shù)據(jù)的分類問題，通過引入兩個參數(shù)來分別控制兩類錯分率的上界，不僅提高了不平衡數(shù)據(jù)集的分類和預(yù)測的性能，而且大大縮小了參數(shù)的選擇范圍。實驗表明我們的方法可以有效提高不平衡數(shù)據(jù)的分類性能。
　　 3.本文從以下兩條途徑研究了半監(jiān)督學(xué)習(xí)中的直推式學(xué)習(xí)方法，一是，針對Chen

6、提出的漸進(jìn)直推式支持向量機學(xué)習(xí)算法存在的諸如訓(xùn)練速度慢、回溯式學(xué)習(xí)多、學(xué)習(xí)性能不穩(wěn)定等缺點，提出兩種改進(jìn)的漸進(jìn)直推式支持向量機分類學(xué)習(xí)算法。它們繼承漸進(jìn)直推支持向量機漸進(jìn)賦值和動態(tài)調(diào)整的規(guī)則，同時利用支持向量的信息或者可信度選擇新標(biāo)注的無標(biāo)簽樣本點，結(jié)合增量支持向量機或支持向量預(yù)選取方法減少訓(xùn)練代價.實驗結(jié)果表明所提算法不僅能較大幅度地提高算法的速度，而且在一般情況下能提高算法的精度。二是，針對支持向量機的一種推廣算法一基于一個球的模式

7、分類方法提出了其直推式學(xué)習(xí)策略，即通過一個超球面將兩類數(shù)據(jù)以最大的分離比率分離，同時利用有標(biāo)簽樣本點和無標(biāo)簽樣本點來建立一個超球分類器的漸進(jìn)直推式學(xué)習(xí)算法，這種算法在沒有足夠的有標(biāo)簽樣本的信息時利用了無標(biāo)簽樣本所提供的額外的信息，獲得了更好的分類性能.實驗結(jié)果表明該算法確實具有更好的性能。
　　 4.本文研究了在已知少量有標(biāo)簽樣本點和大量無標(biāo)簽樣本點條件下的半監(jiān)督野點探測問題。野點(也稱離群點)探測問題一直是機器學(xué)習(xí)的一個難題，

8、在許多實際問題中，野點往往是人們更感興趣的更重要的樣本點，比如在網(wǎng)絡(luò)的入侵檢測、故障診斷、疾病診斷等領(lǐng)域中。本文將粗糙集和模糊集理論應(yīng)用于半監(jiān)督野點探測問題中，提出了模糊粗糙半監(jiān)督野點探測方法。這個方法是在少量有標(biāo)簽的樣本點和模糊粗糙C均值聚類算法的幫助下，通過一個目標(biāo)函數(shù)，同時最小化聚類平方誤差、有標(biāo)簽樣本點的分類誤差和野點的個數(shù)。每個聚類用一個中心、一個清晰的下近似和一個模糊邊界來表示，只對位于邊界的樣本點進(jìn)一步討論其是否為野點的可