隨機(jī)森林算法優(yōu)化研究.pdf

1、隨機(jī)森林算法(Random Forests)是一種基于統(tǒng)計學(xué)習(xí)理論的組合分類器，它將bootstrap重抽樣方法和決策樹算法相結(jié)合，該算法的本質(zhì)是構(gòu)建一個樹型分類器{hk(x)，k=1，…}的集合，然后使用該集合通過投票進(jìn)行分類和預(yù)測。由于該算法較好地解決了單分類器在性能上無法提升的瓶頸，因此具有較好的性能，能應(yīng)用于各種分類篩選和預(yù)測中。當(dāng)然，該算法也存在一些有待完善的地方，比如不能很好地處理非平衡數(shù)據(jù)、運(yùn)行效率和分類精度有待提升等。針

2、對這些不足，理論界主要集中在三個方面進(jìn)行優(yōu)化研究，一是引進(jìn)新的算法，二是對將數(shù)據(jù)預(yù)處理融入到算法中，三是針對算法自身構(gòu)建過程進(jìn)行優(yōu)化。本文在充分查閱國內(nèi)外相關(guān)資料的基礎(chǔ)上，對后二個方面開展了優(yōu)化研究。
　　一、在數(shù)據(jù)預(yù)處理方面，提出了兩種改進(jìn)隨機(jī)森林的優(yōu)化算法。
　　首先，針對隨機(jī)森林不能很好地處理非平衡數(shù)據(jù)的問題，根據(jù)聚類算法思想和物理學(xué)的重心理論，本文提出了C_SMOTE算法，該算法能較好地降低數(shù)據(jù)集的非平衡性，從而提升

3、了隨機(jī)森林算法的分類性能。該算法針對SMOTE算法在選取“人造”樣本時，存在一定的盲目性現(xiàn)象和容易產(chǎn)生邊緣化的問題，提出了從負(fù)類樣本的重心出發(fā)，有目的構(gòu)造“人造”樣本的新思路，使得在“人造”負(fù)類樣本的過程中，新產(chǎn)生的樣本有向重心匯聚的趨勢，這樣就可以有效地解決了SMOTE算法的缺陷，從而實現(xiàn)了既保留原有數(shù)據(jù)集的信息，又較好地解決數(shù)據(jù)集的非平衡性問題，從而在很大的程度上提升了隨機(jī)森林算法在非平衡數(shù)據(jù)集上的分類性能。
　　其次，隨機(jī)森

4、林算法在進(jìn)行節(jié)點分裂時常采用C4.5算法，但C4.5算法在處理連續(xù)變量時，采用二分離散化方法，該方法使得隨機(jī)森林算法運(yùn)行效率由數(shù)據(jù)集中連續(xù)變量的數(shù)量N決定，N值越大，隨機(jī)森林算法執(zhí)行效率越低。針對此現(xiàn)象，本文提出了一種降低N值的新算法，該算法可以很好地為C4.5算法提供簡約的數(shù)據(jù)集，從而提升C4.5算法的執(zhí)行效率。新算法是在借鑒CHI2系列算法思想的基礎(chǔ)上，針對CHI2系列算法沒有考慮x2統(tǒng)計量和真實值之間存在偏差的問題而提出的。該算法

5、使用x2矯正公式較好地處理了CHI2系列算法中的偏差問題。文中通過使用三種通用的UCI數(shù)據(jù)集，將新算法和沒有解決偏差問題CHI2系列算法，在改善隨機(jī)森林算法性能方面進(jìn)行了比較分析。實證數(shù)據(jù)表明，和CHI2系列算法相比，新算法能更有效地約簡數(shù)據(jù)集中的冗余信息，使連續(xù)變理取值的數(shù)量很大程度地減少，從而提升隨機(jī)森林算法的執(zhí)行效率。
　　二、在隨機(jī)森林自身構(gòu)建過程優(yōu)化方面，提出了一種新的節(jié)點分裂混合算法。
　　本文通過分析隨機(jī)森林算

6、法分類性能的影響因素，針對隨機(jī)森林在生成過程中，節(jié)點分裂算法不同引起的隨機(jī)森林分類性能不同的現(xiàn)象，提出了一種基于線性組合的節(jié)點分裂混合算法。該算法將C4.5算法和CART算法在節(jié)點分裂時的函數(shù)進(jìn)行線性組合，通過變換組合函數(shù)中的系數(shù)，充分發(fā)揮了這兩種算法優(yōu)勢，較好地實現(xiàn)了隨機(jī)森林算法分類性能的優(yōu)化。同時，還詳細(xì)分析了混合算法的穩(wěn)定性、相關(guān)度和強(qiáng)度。首先，通過構(gòu)造F統(tǒng)計量進(jìn)行方差分析，對該混合算法的穩(wěn)定性進(jìn)行了檢驗。統(tǒng)計結(jié)果表明，該隨機(jī)森林

7、的混合算法隨著森林中樹木個數(shù)的變化雖然存在一定的不穩(wěn)定性，但當(dāng)森林中樹木達(dá)到800棵時，算法可以達(dá)到穩(wěn)定的狀態(tài)。然后，對混合算法的相關(guān)度和強(qiáng)度進(jìn)行了理論上的推導(dǎo)和論述，同時實現(xiàn)了隨機(jī)森林的平均相關(guān)度和強(qiáng)度的計算，并使用實證分析的辦法，驗證了平均相關(guān)度和算法分類精度存在負(fù)相關(guān)，森林的平均強(qiáng)度和算法的分類精度存在正相關(guān)的關(guān)系，并得了出混合算法對提升森林的平均強(qiáng)度和降低平均相關(guān)度較有其他算法具有明顯的優(yōu)勢，也從另一個方面驗證了混合算法的優(yōu)越性