云計算環(huán)境下的模式挖掘算法研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，各行各業(yè)正在產(chǎn)生越來越多的數(shù)據(jù)，人類社會進入了一個大數(shù)據(jù)時代。為了讓數(shù)據(jù)真正產(chǎn)生價值，必須研究如何高效的從大數(shù)據(jù)中挖掘出有價值的信息。模式挖掘作為數(shù)據(jù)挖掘的一個分支，用來幫助人們從海量數(shù)據(jù)中發(fā)現(xiàn)有價值的規(guī)律，被廣泛應用于各種場景，因此得到越來越多研究人員的關注。
　　傳統(tǒng)模式挖掘算法大多只適用于在單機上運行。當所處理的數(shù)據(jù)量很大時，由于受限于物理內(nèi)存等因素，挖掘效率很低，因此不適用于處理大數(shù)據(jù)。云計算作為一種

2、新型的計算模式，專門用于處理大數(shù)據(jù)。通過借助云計算模式下已有的并行計算模型將挖掘算法并行化，可以利用大規(guī)模的物理集群并行處理大數(shù)據(jù)。
　　MapReduce是云計算模式下的一種高效簡潔的分布式并行計算模型，在其基礎上的許多并行挖掘算法被提出。Spark作為一種更加高效的基于內(nèi)存的并行計算模型，一定程度上彌補了MapReduce進行迭代式計算的不足，目前發(fā)展迅速。
　　本文首先介紹了經(jīng)典的模式挖掘算法，然后分析了兩種并行計算模

3、型MapReduce、Spark的原理，之后，分別借助MapReduce模型和Spark模型提出了并行頻繁模式挖掘算法Pamph和并行效用模式挖掘算法Phps。
　　其中，Pamph算法充分利用MapReduce的分布式并行計算模型，采用寬度優(yōu)先結合深度優(yōu)先的混合挖掘策略，使用垂直數(shù)據(jù)格式mixset結合FP-tree結構表示數(shù)據(jù)，實現(xiàn)了寬度優(yōu)先挖掘到深度優(yōu)先挖掘自動轉換、寬度優(yōu)先挖掘和深度優(yōu)先挖掘并行執(zhí)行。最終實驗表明該算法比已