一種基于密度的改進決策樹算法.pdf

1、分類問題是機器學習領域的重要研究內容，分類是指對已知類別的數(shù)據集進行高度抽象，提取規(guī)則，構建預測模型，從而使用該模型對未知類別的樣本數(shù)據進行歸類。
　　決策樹是各種分類算法中最常見的算法，它相對于其他算法模式簡單、分類速度快、準確率高，且生成的規(guī)則可以用語意表示，具有更強的可解釋性。然而實際數(shù)據集中常常伴隨著噪聲或者孤立點，這會使決策樹出現(xiàn)只包含極少量樣本的葉子節(jié)點，產生不必要的分支，進而使決策樹規(guī)模變大。針對這一問題，本文提出了

2、基于密度的決策樹構建思想，即在決策樹的構建過程中將劃分區(qū)域內的樣本密度作為一個衡量標準，使生成的決策樹中不存在或者僅少量存在上述不必要分支，精簡了決策樹規(guī)模，同時在一定程度上避免了過擬合現(xiàn)象，提高了預測精度。同時，本文將基于密度的構建思想推廣到了以RandomForest、Bagging和AdaBoost為代表的集成算法中，這三種算法雖然相較于單個決策樹已經可以表現(xiàn)出較強的分類能力，但是同樣面臨基分類器在訓練結果中存在不必要分支的問題，