多類別特征共享集成學習研究.pdf

1、多分類問題（至少為三類）是機器學習和計算機視覺領(lǐng)域里需要研究的重大問題之一。隨著計算機技術(shù)的發(fā)展，多個類別的模式分類在各種電子產(chǎn)品中有著廣泛的應(yīng)用，因而多分類問題越來越受到人們的關(guān)注。多分類問題需要同時優(yōu)化多個分類邊界，因而更難以解決。尤其類別數(shù)較多時，訓練集通常伴隨著大量訓練樣本和高維特征，難以用一個合適的數(shù)學模型來建模，如果要高精度的分類器，就需要大量的計算。雖然目前對多分類問題已經(jīng)有許多建模方法，其中一些算法對大多數(shù)據(jù)集有較高的識

2、別精度，但是它們都有各自的缺陷，仍需要進一步的完善。
　　多分類問題是一個監(jiān)督學習問題（即訓練集中每個樣本的類標是已知的），關(guān)鍵在于如何利用訓練集建立一個分類模型，使其能夠?qū)θ我廨斎霕颖緶蚀_的分類。標準的多分類問題在預測時，限定輸入樣本類別所屬的集合是和訓練集一致的;如果沒有這個限定，則多分類器需要對輸入樣本進行進一步識別，如果不屬于訓練集中任何一類，需要對輸出結(jié)果做特別說明，比如多目標檢測。本文研究的范圍不包括后者，針對的是標準

3、的多分類問題，包括基于Boosting集成學習的多分類理論，多分類器結(jié)構(gòu)組織，特征共享等方面，具體如下:
　　1)本文提出了一種以Boosting集成學習為核心的后驗概率估計模型，作為多分類器的理論基礎(chǔ)。通過概率模型可以有效的解決以下三個問題:第一，訓練集樣本不均衡會導致各類無條件概率之間的比值發(fā)生變化，從而影響概率輸出和分類精度，而概率模型能夠有效的對分類器進行校準，降低不均衡的影響;第二，如果分類錯誤要承擔風險損失，那么需要對

4、分類結(jié)果進行風險評估，概率模型能夠結(jié)合概率和損失參數(shù)計算每類置信度，從而給出最優(yōu)結(jié)果;第三，以概率估計視角詮釋AdaBoost算法，拓展并完善了Boosting模型的理論。
　　2)將多分類問題轉(zhuǎn)化為二分類問題求解是對多分類器建模的主要方法，然而如何將二分類器集成為多分類器并用于預測，目前沒有理論可依。針對上述問題，本文提出一種以后驗概率為基礎(chǔ)的建模方法來構(gòu)造多分類器。該方法通過后驗概率來描述分類器，并依靠統(tǒng)計理論尋找這些概率之間

5、的關(guān)系，依此將二分類器組織為多分類器。通過該方法對“一對一”模式進行建模，可以得到每類的后驗概率的解析形式，比目前的極限求解方法更近一步。同時，為了保證分類器輸出結(jié)果的魯棒性，本文提出了一種新的預測準則。該準則逐輪淘汰置信度低的類別而留下后驗概率數(shù)值比較大的類別，從而得到穩(wěn)健的分類結(jié)果。
　　3)本文從特征共享角度來提高分類器性能，提出了一種新的弱分類器結(jié)構(gòu)，稱之為復合樹樁。復合樹樁是一種特殊的樹樁結(jié)構(gòu)，能夠利用一個特征對多個類別

6、輸出相對應(yīng)的置信度，因而多分類的Boosting算法選擇復合樹樁作為弱分類器比決策樹樁的收斂速度快。為了提高分類器的精度，本文將加稀疏約束的加權(quán)回歸模型和基于復合樹樁的Boosting算法結(jié)合，形成一種新的算法。由于復合樹樁結(jié)構(gòu)的特殊性，該算法雖然是以Boosting迭代為核心，卻具有神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是一種前向的神經(jīng)網(wǎng)絡(luò)算法。
　　4)基于上述理論，本文從層次學習和廣度拓展兩個方向進一步提高分類器性能。廣度拓展主要是通過多個并列的網(wǎng)

7、絡(luò)結(jié)構(gòu)集成多分類器或者增加神經(jīng)元個數(shù)來提高識別精度。分層學習主要是通過多層帶權(quán)重的線性回歸疊加的方式對特征空間進行線性變換，得到區(qū)分能力更強的新特征。這些新特征都是由原來的特征通過稀疏向量加權(quán)得到的，因而最后得到的變換矩陣也是稀疏的。分層訓練時可以分批計算，因而對于訓練集特征維數(shù)較高時，可以加快計算效率。另外，層次學習對一些特定的特征可以進行位置約束，從而得到更好的識別結(jié)果。目前特征學習得到的底層特征，大多是類似邊條的卷積核特征，和圖像