多核集成學習方法的研究.pdf

1、近年來，多核學習（Multiple Kernel Learning，MKL）在機器學習領(lǐng)域受到廣泛關(guān)注，是一種很有前景的數(shù)據(jù)挖掘方法。它主要利用多個核函數(shù)的線性組合去解決數(shù)據(jù)異構(gòu)或不規(guī)則、樣本不平坦分布等具有挑戰(zhàn)性的問題。
　　傳統(tǒng)多核學習方法通常把求解多個核函數(shù)的線性組合看作優(yōu)化問題，再重點研究優(yōu)化算法，以達到更好的效率及精度，但計算量大、不容易收斂仍然是傳統(tǒng)多核學習方法的主要缺點。Hao Xia與Steven Hoi創(chuàng)造性地提

2、出了多核集成學習框架（Multiple Kernel Boosting,MKBoost），將AdaBoost的思想運用到多核學習中，巧妙地避開了復雜的優(yōu)化問題，從而大大提高了算法效率，但由于AdaBoost算法對噪聲數(shù)據(jù)敏感，所以MKBoost算法不能有效地處理被噪聲污染的數(shù)據(jù)集，魯棒性較差。
　　為了克服MKBoost算法在含有噪聲的數(shù)據(jù)集中出現(xiàn)過擬合的難題，本文提出了兩種新的多核集成學習算法，即基于噪聲探測函數(shù)（noise-b

3、ased MKBoost,ND-MKB）與基于噪聲概率（noise-probability MKBoost,NP-MKB）的多核學習方法，新算法主要有兩方面具體內(nèi)容：
　　第一：噪聲的識別。首先根據(jù)樣本鄰域信息，使用k最近鄰法進行噪聲初步探測，越多鄰域樣本被錯誤分類，該樣本是噪聲的概率越大，反之該樣本是正常樣本的概率越大。ND-MKB算法將 k最近鄰法的探測結(jié)果二值化處理，即{-1，+1}，NP-MKB算法利用logistic回歸

4、模型函數(shù)將初步探測結(jié)果映射到[0,1]區(qū)間，得到樣本是噪聲的概率。
　　第二：新的多核集成學習方法的提出。AdaBoost算法中，無論是其損失函數(shù)還是樣本權(quán)值的更新，均只關(guān)注分類正確與否，要提高AdaBoost的抗噪性，就有必要區(qū)別對待噪聲樣本與正常樣本。本文分別基于噪聲探測函數(shù)與噪聲概率函數(shù)提出了兩種新的損失函數(shù)，并利用前向分布算法進行算法推導。ND-MKB與NP-MKB算法都充分考慮了樣本的噪聲性質(zhì)對算法的影響，所以抗噪性和魯