基于Hadoop的并行化算法實現(xiàn)及GPS數(shù)據(jù)實例分析.pdf

1、隨著云計算、物聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的快速發(fā)展，大數(shù)據(jù)正成為信息技術的新熱點，產(chǎn)業(yè)發(fā)展的新方向，對人類的生產(chǎn)與生活產(chǎn)生巨大影響。大數(shù)據(jù)來源于互聯(lián)網(wǎng)、企業(yè)系統(tǒng)和物聯(lián)網(wǎng)等信息系統(tǒng)，經(jīng)過大數(shù)據(jù)處理平臺的分析與挖掘，產(chǎn)生新的知識用以支撐決策或業(yè)務智能化運轉(zhuǎn)，大數(shù)據(jù)時代的到來給數(shù)據(jù)管理與分析提出了新的挑戰(zhàn)，數(shù)據(jù)處理方法的合理性和時效性成為了大數(shù)據(jù)統(tǒng)計分析的研究熱點。近年來，基于數(shù)據(jù)挖掘算法的大數(shù)據(jù)分析是研究的重要方向，但大都是以傳統(tǒng)單機環(huán)境下數(shù)據(jù)挖掘算

2、法改進為主，由于受內(nèi)存、擴展性等限制，不能有效滿足激增的海量數(shù)據(jù)處理需求，為此本文研究傳統(tǒng)數(shù)據(jù)挖掘算法在MapReduce并行編程環(huán)境下的實現(xiàn)方法，同時，針對大數(shù)據(jù)時代海量數(shù)據(jù)的存在形式及Hadoop平臺處理海量小文件數(shù)據(jù)時的性能瓶頸，提出海量小文件處理策略，最后，以出租車GPS數(shù)據(jù)為實例，對MapReduce實現(xiàn)短時交通路預測的高效性進行驗證，在Hadoop環(huán)境下，改進基于MapReduce的K近鄰短時交通流預測算法，以提高預測準確性

3、?；谝陨锨闆r，本文具體做了以下三項工作:
　　(1)針對單機環(huán)境下傳統(tǒng)數(shù)據(jù)挖掘算法在對大規(guī)模數(shù)據(jù)分析時存在“內(nèi)存消耗高、計算性能低、擴展性差和可靠性弱”等問題，提出MapReduce并行環(huán)境下KNN、Apriori和K-Means算法的實現(xiàn)方法，并以“可行性、加速比和擴展性”為指標，采用不同大小的真實數(shù)據(jù)集，在由不同節(jié)點組成的集群中進行實驗驗證。實驗結果表明，該實現(xiàn)方法是可行和有效的，能提高KNN、Apriori和K-Means

4、算法的整體性能和挖掘效率，以滿足大規(guī)模數(shù)據(jù)挖掘的需要。
　　(2)分析了Hadoop平臺的設計初衷是專門處理流式大文件，而現(xiàn)實環(huán)境中大部分數(shù)據(jù)是以海量小文件形式存在，針對Hadoop在處理海量小文件時，存在“內(nèi)存消耗高、處理效率低”等固有缺陷，本文中實現(xiàn)了CombineFileInputFormat(CFIF)、HadoopArchive(HA)、Sequence File(SF)等三種處理海量小文件的有效方法，并結合不同用戶的實

5、際需求，提出了相應的處理策略，以“Namenode內(nèi)存消耗、MapReduce運行速度”為指標，驗證策略選擇的合理性和有效性。實驗結果表明，所實現(xiàn)的處理方法和提出的策略選擇，能最大化地發(fā)揮Hadoop的整體性能，提高海量小文件的處理效率。
　　(3)以海量出租車GPS數(shù)據(jù)為研究實例，一是利用(1)所述基于MapReduce的并行化K近鄰算法解決海量GPS數(shù)據(jù)預測短時交通流時效率低的問題;二是在短時交通流預測前，引入(2)所述小文件