高維數(shù)據(jù)的分類器集成方法研究.pdf

1、分類器集成技術是模式識別和數(shù)據(jù)挖掘領域的研究熱點，由于其分類效果往往比單一的分類器效果更好，所以在近十幾年里得到了迅速的發(fā)展。在分類器集成技術的研究中，單個基分類器的識別精度和基分類器間的差異性是兩個最重要的影響因素，當基分類器的識別精度越高，且差異性越大，集成算法的分類性能就越好。針對高維數(shù)據(jù)的分類問題，由于其存在特征的冗余性和稀疏性，采用傳統(tǒng)的分類器集成算法時，將導致基分類器的識別精度下降以及差異性減小，影響算法的整體分類性能。為此

2、，本文提出了一種基于旋轉(zhuǎn)子空間和保局投影的高維數(shù)據(jù)分類器集成方法(Rotation Subspace Locality Preserving Prejection, RSLPP)。該方法首先將原始訓練集投影到多個不同的旋轉(zhuǎn)子空間(Rotation Forest, RS)中獲得不同的特征子集，以增加基分類器間的差異性；其次，將得到的多個特征子集分別進行保局投影(Locality Preserving Prejction, LPP)后，再進

3、行基分類器的訓練，以提高基分類器的識別精度；最后，將基分類器的輸出結(jié)果按多數(shù)投票法進行組合，得到最終的分類結(jié)果。本文主要開展了如下研究工作：
　?、僬{(diào)研了關于分類器集成算法的研究背景和發(fā)展現(xiàn)狀，在此基礎上深入學習了關于分類器集成算法的基礎理論和經(jīng)典的集成算法，如Bagging、Boosting、隨機森林(Random Forest)和旋轉(zhuǎn)森林(Rotation Forest)等算法，重點研究了旋轉(zhuǎn)森林的算法基本原理和實現(xiàn)過程。

4、r>　?、诒疚膶F(xiàn)有的分類器集成算法直接應用于高維數(shù)據(jù)的分類實驗，結(jié)果表明：由于高維數(shù)據(jù)的特征信息的冗余性和稀疏性等特性，往往會導致所生成的基分類器識別精度下降；同時隨著特征維度的增加，基分類器間的差異性也隨之降低。因此，本文提出了一種旋轉(zhuǎn)子空間(RS)法，該方法首先將特征集隨機劃分成多個特征子塊；然后，把所有特征子塊做隨機采樣處理的特征向量重新組合得到一個旋轉(zhuǎn)子空間，經(jīng)過多次迭代，得到多個不同的旋轉(zhuǎn)子空間；最后，將原始的數(shù)據(jù)集投影到多

5、個旋轉(zhuǎn)子空間中獲取不同的特征子集，以此增加特征子集間的差異性。
　　③在特征子集的構造過程中，在每個特征子塊中都隨機保留了一部分無效的特征信息，以此增加每個子集間的差異性。為了從特征子集的角度剔除這些參雜在其中的無效特征，本文引入了保局投影(LPP)方法對每個特征子集進行特征提取，再根據(jù)處理后的特征子集訓練基分類器，以提高基分類器的識別精度。最后，把每個基分類器的輸出結(jié)果按多數(shù)投票法進行組合，得到整個方法的分類結(jié)果。綜合上述過程，