隨機森林算法研究及改進.pdf

1、隨機森林作為一種常見的數(shù)據(jù)挖掘方法，已被證實是一種state-of-art的學習器，其不僅具有很高的分類回歸性能，而且運算快速高效，并且隨機森林能有效處理多分類問題，在應對噪聲干擾上也具有明顯的優(yōu)勢。
　　但是傳統(tǒng)的隨機森林模型在樹的數(shù)量和樹的選擇中沒有深入的研究。另外隨機森林在半監(jiān)督問題上的研究也較少，目前尚無良好的半監(jiān)督隨機森林模型，限制了隨機森林的應用范圍。本文針對這兩個問題，展開了隨機森林模型改進的研究。
　　本文利

2、用隨機森林的間隔，設計了一種基于Margin最優(yōu)化的隨機森林修剪模型，定義了每棵樹的四種形式的margin評價方式，計算每棵樹的margin評價值，采用遞歸消除的方式，對森林進行修剪，并通過觀察OOB準確率來決定修剪的停止。在10組數(shù)據(jù)集上進行對比試驗，顯示修剪的模型比隨機森林模型具有更優(yōu)的分類性能，并且相比于其他修剪方式，本文的修剪方式具有明顯的優(yōu)勢。另外通過研究修剪過程中margin的變化，對模型的有效性進行解釋。
　　針對半

3、監(jiān)督隨機森林，本文結合了已有的隨機森林半監(jiān)督模型和協(xié)同訓練模型，建立基于協(xié)同訓練的隨機森林模型，不僅簡化了原有半監(jiān)督隨機森林優(yōu)化中退火過程的步驟，而且通過協(xié)同訓練，改進了模型學習的方式，很大程度提高了模型的分類性能。另外本文還將隨機森林的袋外數(shù)據(jù)作為半監(jiān)督模型學習的評價方式，提出了基于OOB準確率變動的停止準則。16個數(shù)據(jù)集上的對比試驗顯示，基于協(xié)同訓練的隨機森林模型比傳統(tǒng)的半監(jiān)督隨機森林具有更高的分類準確率，是一個優(yōu)秀的半監(jiān)督學習模型