基于MapReduce的分布式閉頻繁模式發(fā)現(xiàn)方法研究.pdf

1、隨著用戶需求和網(wǎng)絡(luò)的不斷發(fā)展,人類社會積累的知識、數(shù)據(jù)急劇增加。如何從海量的事務(wù)數(shù)據(jù)中發(fā)現(xiàn)用戶感興趣的規(guī)則、有用的知識一直是數(shù)據(jù)挖掘領(lǐng)域研究者面臨的一大難題,而這正是本課題研究希望解決的問題。由于關(guān)聯(lián)規(guī)則挖掘領(lǐng)域計算量大,I/O交互集中的特點,原有的串并行方法在解決問題時都存在著一定的缺陷。本課題的研究目的就是改進現(xiàn)有的并行頻繁模式挖掘算法使其能夠突破現(xiàn)有算法的局限性。
　　本課題圍繞著海量并行頻繁模式發(fā)現(xiàn)問題,展開了深入研究,主

2、要研究成果可歸納為以下幾個方面:
　　本文在對現(xiàn)有串并行頻繁模式挖掘方法進行了大量調(diào)研和深入分析基礎(chǔ)上，歸納總結(jié)了各方法的優(yōu)缺點;在MapReduce并行計算框架下,把頻繁閉項集挖掘的優(yōu)化策略引入挖掘過程中,為困擾研究者多年的海量數(shù)據(jù)下低支持度閥值的頻繁模式發(fā)現(xiàn)問題提出了一種有效的解決方案,其剪枝、項集合并、項跳過等改進策略有效地優(yōu)化了并行挖掘過程,提升了頻繁模式發(fā)現(xiàn)算法的性能。
　　本文在并行閉模式發(fā)現(xiàn)的基礎(chǔ)上進行了進一步

3、的優(yōu)化,提出一種挖掘中節(jié)點運行負載的評價標(biāo)準(zhǔn),完善了并行集群分組方法,對集群分組方法進行了負載均衡的優(yōu)化改進,避免了快節(jié)點等待慢節(jié)點運行所帶來的性能損耗;深入分析了條件FP-tree的挖掘過程,將FP-Bonsai的α?剪枝應(yīng)用于并行挖掘條件FP-tree過程中,有效簡化了條件FP-tree的結(jié)構(gòu),使算法性能有了進一步的提升;引入了并行閉規(guī)則生成優(yōu)化方法,完善了算法處理的全過程。
　　基于以上研究成果,本文設(shè)計并實現(xiàn)了并行閉頻繁模