基于抽樣的云頻繁項(xiàng)集挖掘算法研究.pdf

1、隨著數(shù)據(jù)收集技術(shù)的發(fā)展,海量數(shù)據(jù)時(shí)代已經(jīng)到來(lái)。當(dāng)今社會(huì)商業(yè)競(jìng)爭(zhēng)異常激烈,人們迫切希望從海量數(shù)據(jù)中,提取有用的信息以幫助進(jìn)行商業(yè)決策。但是,傳統(tǒng)的數(shù)據(jù)分析和數(shù)據(jù)挖掘技術(shù)在處理海量數(shù)據(jù)時(shí),時(shí)間和空間的代價(jià)過(guò)大,很難滿足人們的需求。例如,數(shù)據(jù)挖掘中傳統(tǒng)的頻繁項(xiàng)集挖掘需要多次掃描數(shù)據(jù)集,消耗大量時(shí)間;還需要存儲(chǔ)大量的候選項(xiàng)集,消耗大量?jī)?nèi)存。
　　數(shù)據(jù)收集技術(shù)發(fā)展的同時(shí),海量數(shù)據(jù)處理技術(shù)也以高并發(fā)、低成本的處理優(yōu)勢(shì)高速發(fā)展。近幾年,以Had

2、oop生態(tài)系統(tǒng)發(fā)展最具代表性。Hadoop項(xiàng)目主要由兩部分組成:HDFS和mapreduce,它們分別是GoogleFileSystem和GoogleMapReduce的開源實(shí)現(xiàn)。Hadoop分布式框架主要是以廉價(jià)的商業(yè)機(jī)器為計(jì)算節(jié)點(diǎn)構(gòu)成云平臺(tái),達(dá)到高效處理海量數(shù)據(jù)的目的。
　　將數(shù)據(jù)挖掘和Hadoop框架有機(jī)結(jié)合,利用Hadoop優(yōu)秀的海量數(shù)據(jù)處理能力進(jìn)行挖掘,將會(huì)給數(shù)據(jù)挖掘帶來(lái)新的活力。本文主要針對(duì)數(shù)據(jù)挖掘中頻繁項(xiàng)集挖掘和Ha

3、doop框架相結(jié)合,做了以下工作:
　　(1)對(duì)Hadoop平臺(tái)進(jìn)行深入的研究和分析。Hadoop平臺(tái)的最核心的兩個(gè)部分是:用于海量數(shù)據(jù)存儲(chǔ)的HDFS分布式文件系統(tǒng)和用于數(shù)據(jù)處理的Mapreduce并行編程框架。兩者相輔相成,構(gòu)成了Hadoop分布式框架。
　　(2)為了進(jìn)一步提高頻繁項(xiàng)集挖掘效率,提出了一種基于Hadoop平臺(tái)的并行抽樣算法。這種算法利用mapreduce編程框架,單次掃描海量數(shù)據(jù)即可實(shí)現(xiàn)隨機(jī)抽樣。在抽樣的