基于Spark的大數(shù)據(jù)挖掘技術(shù)的研究與實現(xiàn).pdf

1、大數(shù)據(jù)和大數(shù)據(jù)分析是目前IT領(lǐng)域里最炙手可熱的概念，大數(shù)據(jù)具有3V的特點:(1)Volume:數(shù)據(jù)規(guī)模大;(2)Velocity:處理要求快，實時性要求比較高;(3)Variety:數(shù)據(jù)有豐富的多樣性。為了讓數(shù)據(jù)產(chǎn)生更大的價值，就需要選擇一個高效的大數(shù)據(jù)處理平臺來對其進(jìn)行相應(yīng)的分析。Spark是適用于大數(shù)據(jù)的高可靠性、高性能分布式并行計算框架。目前在國內(nèi)外，已經(jīng)有很多公司在實際生產(chǎn)環(huán)境中廣泛使用Spark，比如國外的谷歌、亞馬遜，易貝、

2、雅虎等公司和國內(nèi)的淘寶，百度，華為，優(yōu)酷土豆等公司。
　　盡管Spark在實際的工業(yè)生產(chǎn)和實踐中已經(jīng)有了廣泛的使用，但是受限于其誕生時間較晚、版本較新等因素?，F(xiàn)階段，使用Spark框架在有些具體大數(shù)據(jù)應(yīng)用場景下進(jìn)行挖掘和分析時，需要結(jié)合其原有模塊并改寫和添加一些功能，才能更好的發(fā)揮其作用。而在解決個別大數(shù)據(jù)挖掘問題時，Spark框架目前還沒有相應(yīng)的功能。比如分布式機器學(xué)習(xí)庫MLlib里沒有解決關(guān)聯(lián)規(guī)則問題的分布式機器學(xué)習(xí)算法。

3、r>　　本文的主要工作為:(1)構(gòu)建本文的實驗測試環(huán)境，將Spark集群部署在Yarn上，即搭建一個由單個Master節(jié)點和多個Worker節(jié)點構(gòu)成的Spark集群，集群使用的操作系統(tǒng)為Linux。在集群上對本文中的實驗數(shù)據(jù)，算法和系統(tǒng)進(jìn)行驗證和測試。為更方便的進(jìn)行Spark應(yīng)用程序的開發(fā)和測試，搭建單機Scala編碼環(huán)境IDEA，在單機模式下進(jìn)行應(yīng)用程序的編碼和初步調(diào)試，并生成能夠在集群上運行的jar包。(2)為了在大數(shù)據(jù)生產(chǎn)場景下實

4、現(xiàn)分布式協(xié)同過濾推薦，本文使用Scala、Python、Java語言和Spark RDD并調(diào)用MLlib中的相關(guān)模塊，實現(xiàn)分布式協(xié)同過濾推薦，并進(jìn)行電影推薦。本文實現(xiàn)的分布式并行協(xié)同過濾推薦，是基于模型的推薦系統(tǒng)，獲取最佳參數(shù)下的模型，用其進(jìn)行預(yù)測測試集的評分和給用戶進(jìn)行推薦。在測試和驗證實驗結(jié)果時，選用經(jīng)典的大電影數(shù)據(jù)集:MovieLens。(3)為了在大規(guī)模數(shù)據(jù)處理場景下實現(xiàn)關(guān)聯(lián)分析，本文主要借助Scala語言和Spark RDD的

5、分布式算子對經(jīng)典的Apriori算法進(jìn)行分布式并行編碼處理，并在分布式集群上部署和運行，使用chess大數(shù)據(jù)集在Spark集群上進(jìn)行測試和驗證，和Java語言編寫的單機Apriori算法進(jìn)行運行效率和結(jié)果的比較。
　　本文所做的貢獻(xiàn)為:(1)實現(xiàn)了將Spark集群部署在Yarn上，支持對集群規(guī)模進(jìn)行擴充和調(diào)優(yōu)。(2)提供了協(xié)同過濾推薦在分布式集群上并行運行的實現(xiàn)方案。(3)對Spark MLlib分布式機器學(xué)習(xí)庫中沒給出的關(guān)聯(lián)分析