基于集成學(xué)習(xí)的支持向量機(jī)學(xué)習(xí)方法研究.pdf

1、支持向量機(jī)(Support Vector Machine，SVM)是機(jī)器學(xué)習(xí)領(lǐng)域的有效工具，以其快捷的訓(xùn)練方法和良好的泛化性能受到人們的廣泛關(guān)注，在函數(shù)估計(jì)、模式識別等方面取得令人欣慰的成果。然而隨著信息技術(shù)的飛速發(fā)展，機(jī)器學(xué)習(xí)所面臨的數(shù)據(jù)維數(shù)及規(guī)模越來越大，使支持向量機(jī)的性能和效率受到影響。此外，支持向量機(jī)的性能易受核函數(shù)及參數(shù)的影響，因此尋找高效穩(wěn)定的核選擇方法一直也是支持向量機(jī)研究的熱點(diǎn)問題。
　　集成學(xué)習(xí)(Ensemble

2、 Learning)是一種典型的多機(jī)器學(xué)習(xí)方法，具有較強(qiáng)的穩(wěn)定性和良好的泛化能力。針對以上問題，本文將SVM與集成學(xué)習(xí)技術(shù)有效融合，在以下幾個(gè)方面開展研究工作。
　　(1)對集成學(xué)習(xí)的基本原理及經(jīng)典算法進(jìn)行系統(tǒng)介紹，分析集成學(xué)習(xí)的特點(diǎn)及將其用于支持向量機(jī)研究的優(yōu)勢。
　　(2)將多種特征選擇算法與Bagging相結(jié)合提出一種基于集成學(xué)習(xí)的SVM特征選擇算法。該算法先采用Bagging方法產(chǎn)生多組訓(xùn)練子集，然后在每一子集上利用

3、不同的特征選擇算法分別選出相應(yīng)的特征子集作為輸入空間訓(xùn)練得到子SVM學(xué)習(xí)器。利用不同的特征選擇算法有利于構(gòu)造有較大差異性在的集成個(gè)體，提高系統(tǒng)性能，從而彌補(bǔ)最優(yōu)特征子集選取困難的不足。UCI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明本文提出的算法與基于單種特征選擇算法的集成學(xué)習(xí)相比能進(jìn)一步增加個(gè)體差異性并提高系統(tǒng)學(xué)習(xí)性能。
　　(3)將聚類與Bagging相結(jié)合提出一種基于集成學(xué)習(xí)的SVM大規(guī)模數(shù)據(jù)處理算法，其基本思想是從大規(guī)模數(shù)據(jù)集中提取出小規(guī)模的

4、樣本作為子訓(xùn)練集進(jìn)行SVM集成個(gè)體的構(gòu)造。為保證所提取的樣本中包含較多的信息，算法先對原始數(shù)據(jù)聚類然后從每一類中選取一定比例的樣本。在真實(shí)的空氣質(zhì)量預(yù)測數(shù)據(jù)集及標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)均說明本算法的有效性。
　　(4)提出一種基于SVM集成的核選擇算法。利用不同的核函數(shù)及參數(shù)產(chǎn)生SVM集成個(gè)體，將核選擇融合于集成學(xué)習(xí)當(dāng)中，避免了傳統(tǒng)支持向量機(jī)在處理實(shí)際問題中要先進(jìn)行核選擇的難題。
　　本文利用集成學(xué)習(xí)對SVM的特征選擇、大規(guī)模數(shù)據(jù)