基于Spark的海量數(shù)據(jù)計算平臺設計與實現(xiàn).pdf

1、數(shù)據(jù)處理技術主要包括數(shù)據(jù)存儲和數(shù)據(jù)計算技術，其主要目標是實現(xiàn)各種數(shù)據(jù)集的挖掘分析工作。近幾年，UC Berkdey AMP Lab開發(fā)的新一代數(shù)據(jù)處理框架Spark逐漸走進人們視野，它完善了早期流行的Hadoop框架，提出了彈性分布式數(shù)據(jù)集RDD（Resilient Distributed Datasets）和更靈活多樣的編程模式，給數(shù)據(jù)的處理工作提供了一條更簡單、更快捷的途徑。
　　隨著大數(shù)據(jù)時代的到來，很多公司企業(yè)都會經(jīng)常碰到

2、海量數(shù)據(jù)處理分析的問題?，F(xiàn)存的一些海量數(shù)據(jù)處理工具大多收費，并且存在操作復雜、算法不可定制、處理結(jié)果不直觀等問題。本文所述的海量數(shù)據(jù)計算平臺后臺基于Spark集群，可以高效實現(xiàn)海量數(shù)據(jù)的存儲和計算工作。在此基礎上，提供算法自定義功能，用戶通過提交算法包，并簡單配置即可使自定義算法運行在該平臺上。前臺基于Webx框架，以網(wǎng)站形式對外提供服務，降低用戶學習傳統(tǒng)命令行操作的成本，實現(xiàn)Spark操作完全圖形化。平臺還對數(shù)據(jù)處理結(jié)果進行多樣可視化

3、展示，為后期深入研究提供了便利。
　　本文首先對Spark和Web開發(fā)技術的現(xiàn)狀進行介紹和分析，詳細闡述當前海量數(shù)據(jù)處理面臨的問題，并整理出海量數(shù)據(jù)計算平臺的功能、性能等需求。在此基礎上，針對該平臺使用的Webx開源框架進行具體介紹，并利用框架提供的各種服務設計實現(xiàn)前端網(wǎng)站的整體功能。然后分析并行編程模型，利用開源算法庫MLlib實現(xiàn)經(jīng)典機器學習算法。接著分析平臺的數(shù)據(jù)存儲機制，使用Mysql存儲用戶和算法信息，結(jié)合HDFS存儲輸