Hadoop云平臺綜合優(yōu)化.pdf

1、大數(shù)據(jù)時代信息量的急劇增長，對信息處理速度也提出了越來越高的需求。作為MapReduce計算模型的開源實現(xiàn)，Hadoop云平臺為用戶提供了簡潔可靠的大數(shù)據(jù)處理方案。在處理TB和PB級數(shù)據(jù)計算中，MapReduce已經(jīng)成為使用最為廣泛的并行編程模型。
　　由于MapReduce計算框架最早是為Google的數(shù)據(jù)處理業(yè)務(wù)而設(shè)計的，對不同環(huán)境、不同類型的大數(shù)據(jù)處理業(yè)務(wù)，并沒有進(jìn)行特別優(yōu)化。因此，改進(jìn)Hadoop的平臺的MapReduce

2、計算框架，對提高Hadoop平臺綜合性能、優(yōu)化計算資源分配與利用，有著非常重要的意義。
　　本文針對Hadoop平臺的MapReduce計算框架中的負(fù)載均衡與任務(wù)配置優(yōu)化機(jī)制進(jìn)行了研究，取得了如下成果:
　　(1)在Hadoop平臺中提出了一種新的分區(qū)方案。與Hadoop默認(rèn)的分區(qū)方案相比，它具有平衡Reduce Task負(fù)載、提高集群資源利用率和加速Job整體運行速度的優(yōu)勢。通過對Reduce Task建立回歸分析模型，預(yù)

3、測Reduce Task運行時間的差異，據(jù)此重新分配Reduce Task之間輸入數(shù)據(jù)的規(guī)模，使得Reduce Task之間的總體完成時間趨于一致，避免了因數(shù)據(jù)分配不均，導(dǎo)致部分Reduce Task執(zhí)行時間過長的問題;同時，本方案在建立Reduce Task運行時間的過程中，考慮了Node計算資源差異、負(fù)載情況對運行時間的影響，使分配的結(jié)果更符合實際應(yīng)用情況。此外，與特定領(lǐng)域的負(fù)載均衡方案相比，本方案受到的限制更少，只需Map Tas

4、k的輸出結(jié)果的Reduce Task之間不存在固定的映射關(guān)系。
　　(2)提出了一種新的資源管理與計算任務(wù)監(jiān)控方案。在該方案中，將JobTracker的集群資源管理與任務(wù)監(jiān)控功能分成兩個組件完成。其中，JobTracker的角色變?yōu)镸onitor Node保留任務(wù)監(jiān)控功能，而資源管理功能分配給新加入的資源管理節(jié)點完成。JobTracker和資源管理節(jié)點之間通過增量更新算法同步信息。資源管理節(jié)點根據(jù)配置的調(diào)度器，進(jìn)行任務(wù)調(diào)度，并將調(diào)

5、度結(jié)果返回給JobTracker節(jié)點。實驗結(jié)果表明，本方案實現(xiàn)了資源管理節(jié)點與JobTracker之間快速信息同步，降低了JobTracker的負(fù)擔(dān)，提高了平臺的魯棒性與工作效率，可以有效擴(kuò)展Hadoop云平臺的工作規(guī)模。
　　(3)設(shè)計和實現(xiàn)了基于任務(wù)完成時間的負(fù)載均衡分區(qū)方案;對分離式任務(wù)調(diào)度與監(jiān)控方案進(jìn)行了仿真驗證。
　　實驗表明，本文提出的Hadoop綜合優(yōu)化方案，可以對Hadoop集群的實際運行情況進(jìn)行分析、預(yù)測，