隨機(jī)森林的模型選擇及其并行化方法.pdf

1、傳統(tǒng)的分類算法在低維度的數(shù)據(jù)集上面能夠獲得比較理想的分類效果,但是在高維度的數(shù)據(jù)集上它的分類性能則會出現(xiàn)較大的下降。高維數(shù)據(jù)結(jié)構(gòu)復(fù)雜,包含更多的非信息和噪聲,隨機(jī)森林算法采用了特征子空間來構(gòu)建模型,所以構(gòu)建的模型難免會混雜很多的噪音,而利用這些包含噪音的模型進(jìn)行預(yù)測分類將會降低隨機(jī)森林算法的分類效果。所以如何從眾多的模型中選擇適合的模型,使隨機(jī)森林算法在低維和高維的數(shù)據(jù)集上都能擁有較好的分類性能成為本課題的重點(diǎn)研究問題。同樣隨著模型的增

2、多,計(jì)算量也呈現(xiàn)指數(shù)值的增長,如何提高模型的構(gòu)建以及預(yù)測速度,也是本課題的一個研究問題。
　　針對隨機(jī)森林的模型選擇以及海量并行化的模型構(gòu)建預(yù)測等問題,本課題進(jìn)行了深入的分析和研究,主要的研究內(nèi)容和研究成果如下所示:
　　首先,在對隨機(jī)森林算法的理論研究的基礎(chǔ)上,歸納和闡述了目前常用的隨機(jī)森林模型選擇方法,并且詳細(xì)地分析了這些方法的具體流程以及魯棒性,同時也研究了基于MapReduce框架的分布式并行化方法;
　　然后

3、,提出一種基于馬爾科夫鏈的隨機(jī)森林動態(tài)模型選擇方法,采用動態(tài)選擇的方式,融合隨機(jī)游走的馬爾科夫鏈思想,將模型、訓(xùn)練樣本集和測試樣本分成三層,通過分類器的個體強(qiáng)度計(jì)算、分類器相互之間的相關(guān)性計(jì)算、每個測試樣本與訓(xùn)練樣本集的相似性計(jì)算以及加權(quán)投票模型選擇四步來不斷進(jìn)行上層到中層(中層到上層)、下層到中層(中層到下層)以及同層到同層的循環(huán)迭代,最后實(shí)現(xiàn)隨機(jī)森林的動態(tài)模型選擇。根據(jù)不同的低維和高維數(shù)據(jù)集與常用的模型選擇方法進(jìn)行結(jié)果比較,證明了本

4、方法在 Out-of-Bag(OOB)誤差、算法強(qiáng)度、平均相關(guān)度、泛化誤差上界、分類準(zhǔn)確率分類等五個方面的優(yōu)勢;
　　接著,提出了基于MapReduce框架的隨機(jī)森林并行化方法,通過對隨機(jī)森林模型構(gòu)建以及投票的并行化進(jìn)行改進(jìn),提高了隨機(jī)森林算法的運(yùn)行效率;
　　最后,基于以上的研究成果,本文設(shè)計(jì)并實(shí)現(xiàn)了基于馬爾科夫鏈的隨機(jī)森林動態(tài)模型選擇及其并行化的原型系統(tǒng)。該系統(tǒng)包括數(shù)據(jù)輸入、參數(shù)配置、模型選擇、并行化調(diào)度接口等四個模塊,