Hadoop平臺下關聯(lián)規(guī)則算法并行化研究與實現(xiàn).pdf

1、關聯(lián)規(guī)則算法用來描述事物之間的聯(lián)系和挖掘事物之間的相關性,其核心是通過統(tǒng)計數(shù)據(jù)項獲得頻繁項集,被廣泛應用于分類設計、捆綁式銷售、倉儲貨存配置等領域,關聯(lián)規(guī)則的挖掘已經(jīng)成為數(shù)據(jù)挖掘中一個非常重要的研究方向。近年來,隨著網(wǎng)絡技術、信息技術和數(shù)據(jù)庫技術的迅猛發(fā)展,尤其是互聯(lián)網(wǎng)的廣泛應用,需要分析和管理的數(shù)據(jù)迅速增多,在挖掘大型數(shù)據(jù)庫中的關聯(lián)規(guī)則數(shù)據(jù)時,其處理對象多為海量數(shù)據(jù)和高維數(shù)據(jù)類型,而傳統(tǒng)的關聯(lián)規(guī)則算法如:Apri-ori,Partit

2、ion,FP-growth,CD,DD,CaD等,無論是運算能力還是并行化效率都不能滿足人們的要求,所以如何用更好的數(shù)據(jù)處理模式來降低運算時間、提高對海量數(shù)據(jù)的處理能力,已經(jīng)成為亟待解決的問題。
　　云計算平臺Hadoop是由Apache軟件基金會開發(fā)的一個開源的、可以更容易開發(fā)和并行處理大規(guī)模數(shù)據(jù)的分布式計算平臺,是Google公司云計算三大技術GFS、Map Reduce和Big table的模仿者,它完全使用Java開發(fā),可

3、以廣泛運行在多種軟硬件平臺上,其對海量數(shù)據(jù)的存儲能力和并行計算能力為解決海量數(shù)據(jù)挖掘問題提供了一種新的解決方案。
　　本文對云計算和Hadoop平臺進行了介紹,對Hadoop的組成部分HDFS,M-apReduce和HBase進行了深入的研究,給出了Map Reduce并行編程模型的工作原理,深入分析了傳統(tǒng)關聯(lián)規(guī)則算法的計算過程及存在的一些缺點。針對串行算法執(zhí)行效率低,時間復雜度高以及傳統(tǒng)并行計算模式不能處理節(jié)點失效,難以處理負載