一種基于密度的改進(jìn)決策樹算法.pdf

1、分類問題是機(jī)器學(xué)習(xí)領(lǐng)域的重要研究內(nèi)容，分類是指對已知類別的數(shù)據(jù)集進(jìn)行高度抽象，提取規(guī)則，構(gòu)建預(yù)測模型，從而使用該模型對未知類別的樣本數(shù)據(jù)進(jìn)行歸類。
　　決策樹是各種分類算法中最常見的算法，它相對于其他算法模式簡單、分類速度快、準(zhǔn)確率高，且生成的規(guī)則可以用語意表示，具有更強(qiáng)的可解釋性。然而實(shí)際數(shù)據(jù)集中常常伴隨著噪聲或者孤立點(diǎn)，這會使決策樹出現(xiàn)只包含極少量樣本的葉子節(jié)點(diǎn)，產(chǎn)生不必要的分支，進(jìn)而使決策樹規(guī)模變大。針對這一問題，本文提出了

2、基于密度的決策樹構(gòu)建思想，即在決策樹的構(gòu)建過程中將劃分區(qū)域內(nèi)的樣本密度作為一個(gè)衡量標(biāo)準(zhǔn)，使生成的決策樹中不存在或者僅少量存在上述不必要分支，精簡了決策樹規(guī)模，同時(shí)在一定程度上避免了過擬合現(xiàn)象，提高了預(yù)測精度。同時(shí)，本文將基于密度的構(gòu)建思想推廣到了以RandomForest、Bagging和AdaBoost為代表的集成算法中，這三種算法雖然相較于單個(gè)決策樹已經(jīng)可以表現(xiàn)出較強(qiáng)的分類能力，但是同樣面臨基分類器在訓(xùn)練結(jié)果中存在不必要分支的問題，