何鎮(zhèn)宏_基于spark的分布式頻繁項集挖掘算法研究

1、1分類號：TP391單位代碼：10636密級：公開學號：20151301003碩士學位論文中文論文題目中文論文題目:并行頻繁項集挖掘算法研究并行頻繁項集挖掘算法研究英文論文題目英文論文題目:ResearchonParallelFrequentItemsetsMiningAlgithm論文作者：何鎮(zhèn)宏指導教師：楊軍專業(yè)名稱：計算機應用技術(shù)研究方向：并行頻繁項集挖掘算法所在學院：計算機科學學院論文提交日期：2018年5月17日論文答辯日期：

2、2018年5月27日并行關(guān)聯(lián)規(guī)則頻繁項集挖掘算法研究I并行頻繁項集挖掘算法研究并行頻繁項集挖掘算法研究作者:何鎮(zhèn)宏指導老師:楊軍摘要摘要頻繁項集挖掘用來發(fā)現(xiàn)數(shù)據(jù)項集中的頻繁模式，在商品關(guān)聯(lián)分析和超市促銷策略決策中有著廣泛的應用。但是，傳統(tǒng)的頻繁項集挖掘算法的時間復雜度較高，因此許多國內(nèi)外的學者們致力于提高相關(guān)算法的性能。隨著大數(shù)據(jù)時代的到來，傳統(tǒng)的頻繁項集挖掘算法往往受限于單臺計算機有限的計算能力和存儲容量，無法滿足用戶對于處理更大規(guī)模

3、的頻繁項集挖掘問題的迫切需求。隨著大數(shù)據(jù)技術(shù)的發(fā)展，基于Hadoop平臺的頻繁項集挖掘算法在時間效率上相比于單機算法有了很大的提高。最新的內(nèi)存計算框架Spark相比于Hadoop平臺具有并行計算，Spark已成為目前工業(yè)界搭建分布式計算平臺的主流框架。因此，本文將Spark框架和頻繁項集挖掘算法相結(jié)合，研究在Spark平臺下實現(xiàn)并行頻繁項集挖掘算法，以提高頻繁項集挖掘算法的時間效率。本文的主要工作包含如下幾個方面。(1)學習研究了經(jīng)典的

4、頻繁項集挖掘算法，包括Aprii算法，DHP算法，F(xiàn)PGrowth算法。(2)針對Aprii算法由K頻繁項集生成K1頻繁項集的過程中，需要多次重復檢測項集中的二項子集是否頻繁的問題，提出了一種基于二維表的Aprii改進算法，用一個二維表記錄二項子集是否頻繁，從而減少了判斷二項子集是否頻繁需要多次掃描事務數(shù)據(jù)庫的時間。實驗結(jié)果表明，本文所提出的改進Aprii算法比原Aprii算法相比，可以明顯減少算法的運行時間。(3)學習研究了Spark

5、框架的相關(guān)技術(shù)，基于Linux操作系統(tǒng)，運用Java結(jié)合Scala開發(fā)語言，搭建了基于Spark平臺的分布式開發(fā)環(huán)境，用于實現(xiàn)所提出的并行頻繁項集挖掘算法。(4)針對DHP在第一次統(tǒng)計桶中項集數(shù)目時，會生成許多重復的候選項集，提出了基于Spark單節(jié)點的壓縮DHP算法，該算法用形象地數(shù)字形式代替重復的項集數(shù)，并且在第一次掃描事務數(shù)據(jù)庫時就實施，通過實際的試驗證明，提出的這個壓縮改進算法在時間復雜度上明顯比沒有采用壓縮DHP的單節(jié)點DHP