基于大數(shù)據(jù)的Hadoop并行計算優(yōu)化處理性能分析.pdf

1、隨著近年來新一代移動通信、物聯(lián)網(wǎng)、云計算等新興技術的發(fā)展和普及，數(shù)據(jù)流量呈現(xiàn)爆發(fā)式增長，原有通信系統(tǒng)中的數(shù)據(jù)處理壓力增大。而分布式計算Hadoop中的MapReduce編程架構憑借其強大的數(shù)據(jù)處理能力已經在文本分析、自然語言處理、商業(yè)數(shù)據(jù)處理等領域內成為比較成熟的解決方案，能夠滿足現(xiàn)階段通信領域的數(shù)據(jù)處理需求。但隨著數(shù)據(jù)量的進一步增大、涉及的配置參數(shù)進一步增加，配置參數(shù)優(yōu)化成為目前限制MapReduce性能的主要瓶頸。Hadoop配置涉

2、及了200多個參數(shù)，其中有約13左右會對運行的作業(yè)產生較大的影響，這些參數(shù)恰恰決定了集群整體的性能表現(xiàn)。圍繞上述問題，本文以性能調優(yōu)為基礎，設計一種新型的參數(shù)配置分析系統(tǒng)，能夠針對每一個作業(yè)得到相應的最優(yōu)化的參數(shù)配置。
　　本文在原有MapReduce框架的基礎上提出了三個新的邏輯部件：參數(shù)分析器、參數(shù)判決引擎、基于代價的優(yōu)化模型。其中，參數(shù)分析器會在未修改的MapReduce程序中收集相關統(tǒng)計信息；參數(shù)判決引擎會對各個參數(shù)域進行

3、細化的預測；基于代價的優(yōu)化模型則是在前兩者的基礎上將參數(shù)配置簡單化，給出最優(yōu)化參數(shù)。上述三個部件綜合使用下，可以針對每一個作業(yè)給出最優(yōu)化的參數(shù)配置。
　　通過對MapReduce主要領域內的典型應用：詞頻統(tǒng)計、詞共現(xiàn)統(tǒng)計、排序進行優(yōu)化后參數(shù)的綜合評估來驗證本文提出的三個邏輯部件的有效性。經過測試和驗證，經過本文所設計的三個邏輯部件得出的最優(yōu)化參數(shù)相比較經驗法則與默認參數(shù)在解決 Hado o p服務器集群的性能瓶頸問題上具有優(yōu)越性和