基于特征選擇技術(shù)的集成學(xué)習(xí)方法及其應(yīng)用研究.pdf

1、學(xué)習(xí)方法的泛化能力是機(jī)器學(xué)習(xí)及其應(yīng)用過程中所面臨的關(guān)鍵性挑戰(zhàn)問題。集成學(xué)習(xí)通過訓(xùn)練多個個體并將其結(jié)果進(jìn)行合成，顯著地提高了學(xué)習(xí)系統(tǒng)的泛化能力，成為近年來機(jī)器學(xué)習(xí)領(lǐng)域一個重要的研究方向，并被國際權(quán)威T.GDietterich稱為當(dāng)前機(jī)器學(xué)習(xí)四大研究方向之首。設(shè)計出更有效的集成學(xué)習(xí)實現(xiàn)方法，以提高集成學(xué)習(xí)的泛化能力，并將集成學(xué)習(xí)應(yīng)用到實際問題領(lǐng)域中取得很好的效果，是集成學(xué)習(xí)研究的熱點問題。 特征選擇也是機(jī)器學(xué)習(xí)領(lǐng)域的重要問題，特征選

2、擇可以去除冗余特征、無關(guān)特征、甚至噪聲特征，從而可以得到一個無冗余、無噪聲的樣本集?？梢杂兄谔岣吣Ｊ阶R別的識別率，機(jī)器學(xué)習(xí)的精度。一個特征選擇的過程在原理上可以看成是一個組合優(yōu)化過程，在原有的特征中選擇其中的一部分，使某個特定的評價函數(shù)最優(yōu)。 現(xiàn)在機(jī)器學(xué)習(xí)領(lǐng)域有許多算法與特征選擇密切相關(guān)，比如集成學(xué)習(xí)和多任務(wù)學(xué)習(xí)，如何結(jié)合集成學(xué)習(xí)和特征選擇算法，設(shè)計出更加有效的集成學(xué)習(xí)實現(xiàn)方法，提高集成學(xué)習(xí)的泛化能力，是個很重要的研究方向。

3、 本文在分析集成方法研究現(xiàn)狀的基礎(chǔ)上，運用特征選擇算法圍繞提高集成學(xué)習(xí)方法的泛化能力展開了深入的研究，提出了更有效的集成學(xué)習(xí)方法，提高了集成學(xué)習(xí)的精度并且研究了新算法在實際數(shù)據(jù)上的應(yīng)用。 特征選擇后，一些沒有選中的特征可能就不再進(jìn)入學(xué)習(xí)器，如何利用這些特征提高學(xué)習(xí)器的精度是一個重用的問題。本文將已經(jīng)提出的多任務(wù)學(xué)習(xí)技術(shù)，應(yīng)用到集成學(xué)習(xí)當(dāng)中，取得了很好的效果。 本文的主要工作和創(chuàng)新點如下： (1)研究了集成學(xué)

4、習(xí)中個體的特征選擇的問題。首先對每個個體的訓(xùn)練數(shù)據(jù)集進(jìn)行特征選擇，降低了數(shù)據(jù)集的規(guī)模，減少了無效特征和冗余特征的干擾。提出了基于預(yù)報風(fēng)險的嵌入式特征選擇算法的集成學(xué)習(xí)方法PRIFEB(PredictionRIsk based Feature sElection for Bagging)和基于互信息特征選擇算法的集成學(xué)習(xí)算法MIFEB(Mutual Information based Feature sElection for Baggi

5、ng)。并作了相應(yīng)的對比實驗，結(jié)果表明這兩種新算法提高了集成學(xué)習(xí)的泛化能力。 (2)研究了數(shù)據(jù)集在經(jīng)過特征選擇之后冗余的信息如何被重用的問題，并將多任務(wù)學(xué)習(xí)的概念推廣到集成學(xué)習(xí)中。充分利用經(jīng)過特征選擇之后被刪除的冗余特征的信息，提出了基于預(yù)報風(fēng)險的多任務(wù)學(xué)習(xí)算法H-MTL(HeuristicMulti-Task Learning)、基于遺傳算法的多任務(wù)學(xué)習(xí)算法GA-MTL (Genetic Algorithm based Mul

6、ti-Task Leaming)和基于遺傳算法的集成多任務(wù)學(xué)習(xí)算法GA-ENMTL(Genetic Algorithm based Ensemble Multi-Task Learning)，實驗表明這些算法充分利用了經(jīng)過特征選擇之后被刪除的冗余特征信息，提高了集成學(xué)習(xí)的泛化能力。 (3)研究了集成學(xué)習(xí)中的個體選擇問題。利用特征選擇算法進(jìn)行集成個體的選擇，選擇出個體差異度大的個體用于集成。提出了基于互信息算法的選擇性集成學(xué)習(xí)算

7、法MISEN(Mutual Information based Selective Ensemble)，實驗表明該算法提高了集成學(xué)習(xí)的效果，同時提高了選擇個體的效率。 (4)研究了基于特征選擇的半監(jiān)督學(xué)習(xí)問題。通過運用特征選擇算法去除數(shù)據(jù)的無效特征和冗余特征，提出了基于預(yù)報風(fēng)險的嵌入式特征選擇算法的Co-Training半監(jiān)督學(xué)習(xí)算法FESCOT(Feature Selection Co-Training)。實驗表明新算法可以有