基于決策樹的組合分類器的構(gòu)建和部署.pdf

1、決策樹是應(yīng)用最廣泛的數(shù)據(jù)挖掘方法之一，研究的重點(diǎn)圍繞數(shù)據(jù)處理的準(zhǔn)確率、效率及數(shù)據(jù)降維等方面，增量式學(xué)習(xí)能力也是決策樹算法的主要特征。SURPASS就是高效的增量式算法，能處理超內(nèi)存的大規(guī)模數(shù)據(jù)集，但它在處理海量數(shù)據(jù)時也存在效率低下的問題。另外，決策樹采用不純度指標(biāo)選擇最佳分割屬性，當(dāng)數(shù)據(jù)集很大時，在分割每一步都可能有多個最佳屬性，這為在一個數(shù)據(jù)集上構(gòu)建決策樹森林提供了可能性。傳統(tǒng)的單分類器適應(yīng)不了對高預(yù)測準(zhǔn)確率的需求，而且數(shù)據(jù)產(chǎn)生、存儲

2、以及利用等方式的改變也促使對分類器研究的不斷改進(jìn)。一些學(xué)者發(fā)現(xiàn)傳統(tǒng)的分類器之間存在著互補(bǔ)的信息，可以利用這些互補(bǔ)的信息來改善分類器的性能。 針對SURPASS算法效率上的問題，本文基于信息論提出了一項(xiàng)基于信息量的指標(biāo)，使用該指標(biāo)在決策樹分割的每一步，計(jì)算每個屬性的信息量指標(biāo)值，算法可選取信息量指標(biāo)值較大的屬性作為最佳屬性，以減少對磁盤數(shù)據(jù)的訪問從而提高運(yùn)行效率。實(shí)驗(yàn)數(shù)據(jù)表明，這利，方法是有效的。為使信息量指標(biāo)具有理論依據(jù)，本文利