基于Hadoop的共享決策樹挖掘算法研究.pdf

1、共享知識(shí)挖掘是指通過學(xué)習(xí)不同事物之間的共享知識(shí)，將學(xué)習(xí)到的知識(shí)應(yīng)用到未知事物來加快認(rèn)知未知事物。目前，已經(jīng)有學(xué)者對(duì)共享知識(shí)挖掘進(jìn)行了研究，并提出了共享挖掘算法。但是現(xiàn)有的共享挖掘算法都是串行的挖掘算法，只能處理小規(guī)模的數(shù)據(jù)集，已經(jīng)無法滿足數(shù)據(jù)急劇增長的需求。為此，本文主要針對(duì)共享知識(shí)挖掘算法的并行化做了一系列的研究，主要工作和貢獻(xiàn)包括以下幾點(diǎn):
　　 (1)針對(duì)大數(shù)據(jù)集中共享知識(shí)串行挖掘算法效率低下的問題，通過引入云計(jì)算技術(shù)和決

2、策樹挖掘算法的并行思想，提出一種基于hadoop的并行共享決策樹挖掘算法(PSDT)，該算法基于MapReduee并行模型，采用傳統(tǒng)的屬性表結(jié)構(gòu)實(shí)現(xiàn)共享決策樹挖掘過程中的屬性并行性和節(jié)點(diǎn)并行性；同時(shí)，利用MapReduce模型獨(dú)特的排序機(jī)制實(shí)現(xiàn)了預(yù)排序?qū)傩员淼牟⑿刑幚?。?shí)驗(yàn)結(jié)果表明，相比串行的共享決策樹挖掘算法(SDT)，并行的PSDT算法能夠處理更大規(guī)模的數(shù)據(jù)，具有良好的可擴(kuò)展性；在處理較大規(guī)模的數(shù)據(jù)集時(shí)，PSDT算法的運(yùn)行效率明顯高

3、于SDT算法。
　　 (2)針對(duì)Hadoop集群的性能瓶頸——I/O，從減少I/O的角度出發(fā)，采用“CPU換I/O”策略，提出了一種新穎的混合數(shù)據(jù)結(jié)構(gòu)。基于混合數(shù)據(jù)結(jié)構(gòu)的并行共享決策樹挖掘算法(HPSDT)，在計(jì)算分裂指標(biāo)階段使用屬性表結(jié)構(gòu)進(jìn)行并行計(jì)算，在分裂階段采用數(shù)據(jù)記錄結(jié)構(gòu)進(jìn)行分裂。相比傳統(tǒng)的屬性表結(jié)構(gòu)，混合數(shù)據(jù)結(jié)構(gòu)既減少了數(shù)據(jù)冗余又簡化了分裂過程，大大減少了I/O操作。數(shù)據(jù)分析表明，HPSDT算法簡化了分裂過程，其I/O