分類器集成研究.pdf

1、集成學習是機器學習領域四個主要研究方向之一，集成是指構建一個分類器的集合，并通過基分類器預測進行(權重)投票給出新數(shù)據(jù)的分類結果。集成學習在實際問題解決上已得到了廣范的應用。集成學習最早被用來提高模型性能，或者減小選擇到一個差分類器的可能性。集成學習其他的應用還包括賦予決策判決以置信度、選擇優(yōu)化特征、數(shù)據(jù)融合、增量學習、不穩(wěn)定學習和糾錯。盡管集成學習還缺乏一個統(tǒng)一的理論框架，但關于對多個分類器的集成仍然產生了很多相關的理論，并且有許多試

2、驗也證明了這種方式的有效性。本文主要研究了以下問題：集成學習標簽設計、集成誤差分析、快速選擇性集成，基于集成的噪聲檢測，聚類分割模型空間，基于ACS(Adaptive ClusteringSampling)的集成學習和基于選擇性集成的增量追蹤技術。
　　 (一)證明了在n維空間總可以構造出n+1個對稱矢量，并以此為基礎提出了矢量標簽的概念，基于矢量標簽實現(xiàn)了多數(shù)投票法和平均法的統(tǒng)一，這一特點使得用于解決二分類問題的集成學習算法都

3、可以自動升級為多分類算法。對Korgh1995年關于集成學習的誤差分析理論作了進一步深入，從實驗和理論上說明了集成學習的性能除了取決于基分類器之間的差異度，同時不能忽視基分類器個體的性能。實驗證明增大基分類器規(guī)模和提高基分類器性能可以明顯提高選擇性集成的性能。并相應設計了排序Bagging(Bootstrap aggregating)算法和隨機化Bagging算法，這兩種算法只需增加很小的附加運算量就可以在某些數(shù)據(jù)集上提升Bagging

4、算法的性能。
　　 (二)打破原有選擇性集成算法只考慮差異度的思路，提出從同質化的角度研究選擇性集成。設計算法，分別從同質化角度以及同質化結合差異化角度進行選擇性集成，在個別數(shù)據(jù)集上其性能接近和超過GASEN(Genetic Algorithm Selective ENsemble)算法。提出層次化修剪技術，解決了大規(guī)模基分類器的選擇性集成問題，以此為基礎進一步提出了快速選擇性集成算法。該算法選擇性集成速度較GASEN和CLU_

5、ENN(CLUsteringEnsembles of Neural Network)要快得多。并且該算法具備并行處理能力，在目前并行計算已非常廉價的前提下具有較強的應用價值。
　　 (三)提出了基于聚類和Boosting的Bagging修剪算法，進一步提出了基于聚類選擇的AdaBoost(Adaptive Boost)加速算法，這兩種算法在基分類器集合規(guī)模較大時性能都可以接近AdaBoost算法，同時訓練時間要少一個數(shù)量級。基于

6、Boosting檢測噪聲試驗，提出了“偽噪聲”概念，并分析了在噪聲剔除過程中各類誤刪和漏刪情況以及相應的后果。進而提出基于Cascade的噪聲刪除策略和弱Boosting算法來增強對噪聲的檢測能力。最后結合K-NN算法、Boosting算法和Cascade技術提出了全新的噪聲刪除算法，性能優(yōu)異，且速度明顯快于AdaBoost。
　　 (四)基于“分而治之”和“拼貼”思想分析集成學習，以此為基礎提出了使用聚類分割數(shù)據(jù)模型空間的思想

7、，并說明此時的聚類與傳統(tǒng)聚類兩者的異同?；凇胺侄沃币约皩ootstrap技術和AdaBoost技術的分析，引入ACS采樣技術，并對其作適當調整以適應機器學習。使得弱分類器不再是進行盲目學習而是能夠進行有目的學習，也即通過ACS采樣技術，結合矢量標簽我們可以控制弱分類器的學習行為。進一步提出了ACS-Randomization算法，該算法僅通過調節(jié)參數(shù)就可以實現(xiàn)Bagging，Randomization，Random-Baggin

8、g等算法。通過調節(jié)參數(shù)，可以使得該算法可以在不同類型的數(shù)據(jù)集上都獲得較為理想的效果，也即可以針對不同類型數(shù)據(jù)集調節(jié)相應的學習強度和噪聲抑制能力。該算法的試驗還說明了噪聲抑制和學習能力之間是一種難以調和的關系。
　　 (五)從機器學習的角度分析并提出跟蹤任務的本質是增量學習。使用選擇性集成技術來實現(xiàn)對目標跟蹤的增量學習，同時完成噪聲檢測與剔除。根據(jù)跟蹤任務的特點，提出了背景預測技術。并在跟蹤任務中使用了HSV顏色空間模型下Wals