基于Hadoop的關聯(lián)規(guī)則算法的研究與改進.pdf

1、隨著社會的不斷發(fā)展，互聯(lián)網的應用已得到普及并在我們日常生活中及工作中扮演著重要角色，智能終端設備逐漸普及并時時刻刻產生大量的網絡社交數據，在這些大規(guī)模的社交數據中隱藏著諸多有價值的數據關聯(lián)，而如何管理并挖掘利用這些數據的價值成為大家越來越關注的問題。計算機領域的開發(fā)者經過不斷探索和研究發(fā)現，對龐大的數據進行深入挖掘會發(fā)現其中有規(guī)律的數據，從而將這些有規(guī)律的數據提取出來經過整理編輯，最終整合為適用于人們不同需求的決策方案。隨著數據量的指數

2、級增加，對于大數據的挖掘計算量逐漸超出本地計算機的負荷，而日漸活躍的云計算的分布式平臺可以為其提供超強的處理能力。如果在大數據處理的過程中將數據挖掘方法和云計算平臺相結合實現挖掘計算的并行化操作，會有效提高關聯(lián)規(guī)則計算的效率，同時也可在大數據的處理中得到更加核心的數據規(guī)律。
　　本文在對數據挖掘各個環(huán)節(jié)進行詳細描述的同時分析了關聯(lián)規(guī)則算法，為了將關聯(lián)規(guī)則算法應用到分布式平臺系統(tǒng)中，我們將關聯(lián)規(guī)則算法的結構進行一定程度的優(yōu)化調整，使

3、其適應分布式平臺的需要，并能夠在分布式平臺系統(tǒng)中完成數據挖掘的所有任務。在設計過程中將關聯(lián)規(guī)則算法底層的數據項進行細化，使其能夠在分布式環(huán)境中進行并行計算，由多臺集群中的機器分別同時進行頻繁度的計算。在Hadoop平臺中要對事物集D中的所有事物進行排序首先事物集會在每個任務執(zhí)行節(jié)點上進行備份然后由master節(jié)點進行排序任務的分配，各個worker分別對各自負責的一部分事物集進行排序，在集群框架中設計關聯(lián)規(guī)則算法的Map和Reduce操

4、作連接性。
　　該平臺對各個項目集中的數據關聯(lián)性進行挖掘，需要把子項目集中的最大項目數挖掘出來。在每個worker節(jié)點將所有的事務排序完畢并整合之后，會得到相應的子項集，算法要求子項集的數目會小于或等于設置的最大項目集合的數量。對于全部新生成的子項集的支持度，算法會自動對其進行計算。在Hadoop平臺中由每個worker節(jié)點對項集的支持度進行計算并整理事務集D中的相關事務，之后進行Reduce階段合并事務中相同的子項集，然后把系統(tǒng)