基于Hadoop的關(guān)聯(lián)規(guī)則挖掘算法分析.pdf

1、隨著信息技術(shù)的發(fā)展和互聯(lián)網(wǎng)領(lǐng)域的革新，大數(shù)據(jù)研究已經(jīng)成為熱點(diǎn)問題。關(guān)聯(lián)規(guī)則在尋找數(shù)據(jù)的關(guān)聯(lián)性起到了非常重要的作用，是數(shù)據(jù)挖掘中的一種重要研究方法。其核心問題是如何獲取頻繁集并據(jù)此找出不同項(xiàng)目的相關(guān)關(guān)系。Hadoop作為云計(jì)算最為核心的分布式計(jì)算框架，集高效性，可擴(kuò)展性，低成本等優(yōu)點(diǎn)于一身，已經(jīng)成為大數(shù)據(jù)最佳計(jì)算模式之一。
　　本文以經(jīng)典關(guān)聯(lián)規(guī)則算法Apriori和Fp-Growth為基礎(chǔ)，在分析其Hadoop并行化運(yùn)行優(yōu)缺點(diǎn)的基礎(chǔ)

2、上，提出了Apriori的Hadoop并行化的改進(jìn)算法。同時，將Fp-Growth的Hadoop并行化算法應(yīng)用于搜索引擎主要研究內(nèi)容如下：⑴對于 Apriori算法在事務(wù)壓縮、減少掃描次數(shù)、簡化候選集生成方面進(jìn)行改進(jìn)。提出了以元素“0”和“1”表示事務(wù)的布爾矩陣模型，引入權(quán)值維度，壓縮了相同事務(wù)的矩陣規(guī)模。動態(tài)地進(jìn)行剪枝，以矩陣的“與”運(yùn)算作為候選集合生成的計(jì)算方法。將改進(jìn)算法結(jié)合Hadoop框架進(jìn)行并行化實(shí)現(xiàn)，實(shí)驗(yàn)表明該算法適合大規(guī)模