基于hadoop平臺(tái)的分布式數(shù)據(jù)挖掘系統(tǒng)研究與設(shè)計(jì).pdf

1、伴隨著web2.0、云計(jì)算、物聯(lián)網(wǎng)等概念和技術(shù)的提出與快速發(fā)展,信息時(shí)代越來越體現(xiàn)出它的“大數(shù)據(jù)”特征。為了發(fā)揮大數(shù)據(jù)的價(jià)值,數(shù)據(jù)倉庫、數(shù)據(jù)挖掘技術(shù)在商業(yè)、軍事、經(jīng)濟(jì)、學(xué)術(shù)等眾多領(lǐng)域越來越收到重視,正發(fā)揮著越來越大的作用。與此同時(shí),龐大的數(shù)據(jù)規(guī)模也向傳統(tǒng)的數(shù)據(jù)挖掘工作提出了重大的挑戰(zhàn)。依靠云計(jì)算等分布式計(jì)算平臺(tái)所提供的強(qiáng)勁處理能力,將數(shù)據(jù)挖掘與云計(jì)算相結(jié)合正在成為行業(yè)的趨勢,正不斷地顯現(xiàn)出其強(qiáng)大的優(yōu)勢和潛力。
　　以Hadoop為

2、代表的分布式系統(tǒng),正在逐漸成為大數(shù)據(jù)挖掘系統(tǒng)必要組成部分。因此,本課題就是在Hadoop分布式系統(tǒng)上完成數(shù)據(jù)挖掘任務(wù)的一次實(shí)踐。主要任務(wù)是使用Hadoop搭建分布式集群環(huán)境,并在該環(huán)境上部署數(shù)據(jù)挖掘任務(wù)。研究Hadoop系統(tǒng)架構(gòu),對其分布式文件系統(tǒng)HDFS和MapReduce并行編程模型的原理和實(shí)現(xiàn)進(jìn)行深入理解。系統(tǒng)掌握數(shù)據(jù)挖掘過程,將傳統(tǒng)的數(shù)據(jù)挖掘算法使用MapReduce編程實(shí)現(xiàn),并針對Hadoop平臺(tái)的數(shù)據(jù)挖掘算法的執(zhí)行情況進(jìn)行研