基于貪婪優(yōu)化和投影變換的集成分類器算法研究.pdf

1、隨著計算機科學的不斷發(fā)展,人們對機器學習的性能精度要求越來越高,同時需要處理的問題也越來越復雜,這意味著單一的學習模式已經(jīng)不能完全滿足人們對更高性能的需求。因此,集成學習作為一種新的機器學習算法被提出,即通過結合多個學習器來改善單個學習器的性能。由于集成學習能夠明顯地改善單個學習器的性能,因此從20世紀90年代起,集成學習成為機器學習領域的一個研究熱點,而分類器集成相當于集成學習在有監(jiān)督分類中的一個典型應用,其通過結合多個分類器的輸出來

2、改善單個分類器的性能。目前,分類器集成已被成功應用到人臉檢測、遙感數(shù)據(jù)分類、醫(yī)學圖像處理、網(wǎng)絡數(shù)據(jù)處理等眾多實際應用問題中。
　　對于分類器集成,個體分類器間的差異性和個體分類器自身的準確率是決定集成系統(tǒng)泛化誤差的兩個重要因素。簡言之,同時增強個體間差異性和提高個體自身性能能降低集成系統(tǒng)的泛化誤差。然而研究表明:在一個集成系統(tǒng)中,增強個體間差異性是以降低個體自身性能為代價的。這意味著平衡差異性和準確率兩個因素不僅是構造集成算法的出

3、發(fā)點也是難點。因此,為了構造一種有效的分類器集成系統(tǒng),本文圍繞著差異性、準確率和集成誤差三個因素對如何結合多個分類器的輸出進行了深入的研究,提出了幾種分類器集成算法,主要的研究成果有:
　　1.為了通過平衡差異性和準確率來提高集成性能,提出了一種貪婪優(yōu)化選擇集成算法。該算法同時從差異性和準確率兩個因素出發(fā),采用匹配追蹤算法來尋找集成系統(tǒng)中個體分類器的最優(yōu)組合。受啟發(fā)于匹配追蹤算法的原理,將集成系統(tǒng)中個體分類器的輸出看作為基字典中的

4、基函數(shù),同時將正確標記看作為優(yōu)化的目標值。然后,通過最小化基函數(shù)的線性組合和目標值之間的殘差尋找到個體分類器的最優(yōu)加權向量。理論分析表明:在每次迭代中,該算法能夠通過給予相似的個體分類器接近零值的系數(shù)來去除該個體,同時在初次迭代中能夠選擇性能較好的個體分類器,并賦予其較大權重。實驗結果表明該章提出的貪婪優(yōu)化選擇集成算法的性能優(yōu)于其他集成算法。
　　2.針對差異性和準確率兩個因素,提出了一種變換選擇分類器集成算法。該算法分別從差異性

5、和準確率兩個角度出發(fā)有效地平衡了兩個因素,同時避免了平衡兩個因素產(chǎn)生的困難。首先,為了增強集成系統(tǒng)的差異性,對個體分類器進行投影變換,獲得新的個體分類器;然后,為了保證變換后集成系統(tǒng)中個體的性能,設計了一種基于兩種性能評判準則的選擇策略;最后,結合被選擇的變換個體分類器的輸出。實驗結果表明該算法能夠通過變換和選擇有效地平衡差異性和準確率,從而獲得更好的集成分類性能。
　　3.為了避免基于差異性和準確率構造集成算法的困難,提出了一種

6、基于二次型最大化的加權分類器集成算法。從集成分類器的最終目的出發(fā),該算法直接對集成誤差進行分析,代替了分析差異性和準確率兩個因素。通過最小化集成系統(tǒng)的誤差,尋找到對應集成個體分類器的最優(yōu)加權向量。在該算法中,基于兩個約束條件構造了最小化集成誤差的目標函數(shù),并通過引入一個已知加權向量將最小化目標函數(shù)的問題轉換為最大化二次型的問題。理論分析表明:二次型值越大,使用其對應的加權向量獲得的集成誤差比已知加權向量獲得的集成誤差更小。實驗結果表明該

7、算法獲得的集成分類性能優(yōu)于其他加權集成算法。
　　4.基于加權分類器集成框架出發(fā),提出一種基于線性變換的集成算法。受啟發(fā)于線性變換的原理,加權分類器集成的過程被認為相當于個體分類器線性變換的過程。因此,將線性變換的思想引入集成學習中,采用線性變換算法來尋找集成個體的最優(yōu)加權向量。由于線性變換方法和集成學習出發(fā)點不同,因此針對集成學習的最終目的,使用正確標記代替線性變換算法中的均值來構造一個表示集成個體的相關矩陣,并且基于該相關矩陣

8、獲得了一個優(yōu)化目標函數(shù),并通過最大化該目標函數(shù)獲得最優(yōu)加權向量。理論分析表明:該算法構造的目標函數(shù)相當于個體分類器的準確率的加權和,目標函數(shù)值越大,則整個集成系統(tǒng)的準確率加權和就越大。實驗結果表明本章算法相比其他加權算法能獲得更好的分類性能。
　　5.為了改善集成系統(tǒng)的性能,提出一種基于0-1矩陣分解的加權分類器集成算法。該算法使用0-1矩陣來表示集成系統(tǒng)的個體分類器,并通過對0-1矩陣進行奇異值分解獲得集成個體的加權向量。根據(jù)分

9、析可得:0-1矩陣的最大奇異值對應的右奇異向量的平方作為該算法的最優(yōu)加權向量。理論表明,通過對0-1矩陣進行奇異值分解,其獲得的奇異值越大,則對應該奇異值的加權向量獲得的集成分類誤差就越小。實驗結果表明該算法相比其他加權算法即簡單又有效。
　　6.為了增強集成系統(tǒng)的差異性,提出一種異構分類器集成算法。該算法采用旋轉森林策略結合兩種不同模型分類器。在該算法中,首先采用旋轉森林對原始樣本集進行劃分變換,獲得新的樣本集;然后通過特定的比