MapReduce計算模型性能優(yōu)化的研究.pdf

1、山東建筑大學碩士學位論文題目MapReduce計算模型性能優(yōu)化的研究計：學位論文50頁表格2個插圖2l幅評閱人：指導教師：學院院長：學位論文完成日期：～一耕一一一一一山東建筑大學碩士學位論文摘要伴隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的快速發(fā)展，每天會產(chǎn)生海量數(shù)據(jù)，數(shù)據(jù)處于爆炸式的增長狀態(tài)，這預示著大數(shù)據(jù)時代的到來。大數(shù)據(jù)時代的數(shù)據(jù)具有數(shù)量大、結(jié)構(gòu)復雜的特點，導致數(shù)據(jù)存儲和計算難度的加大。Google提出的MapReduce分布式計算模型簡化了

2、海量數(shù)據(jù)計算的問題，成為研究的熱點。所以本文對MapReduce技術(shù)的研究和性能的優(yōu)化具有實際意義。MapReduce是一種分布式計算模型，它簡化了程序員編寫分布式程序的步驟，因此被廣泛應用于大數(shù)據(jù)領(lǐng)域。Hadoop是MapReduce的開源實現(xiàn)，具備海量數(shù)據(jù)處理的能力。然而，它的一些處理機制影響了性能的發(fā)揮。比如：當數(shù)據(jù)出現(xiàn)傾斜時，原有的劃分方法不能保證節(jié)點的負載均衡，集群性能會受影響。因此，需要優(yōu)化現(xiàn)有的處理機制。本文研究的主要內(nèi)容

3、是：首先對Hadoop平臺進行簡單介紹，重點研究MapReduce計算模型，對其組成模塊和運行機制進行深入的分析。在分析MapReduce源碼的基礎(chǔ)上，發(fā)現(xiàn)了當數(shù)據(jù)存在傾斜時節(jié)點會出現(xiàn)負載不均的問題和在異構(gòu)環(huán)境下推測執(zhí)行機制效率低的問題。針對數(shù)據(jù)存在傾斜負載不均的問題，本文提出了一種抽樣的方法，利用抽樣獲取Map端中間結(jié)果的分布信息，在抽樣的基礎(chǔ)上結(jié)合數(shù)據(jù)局部性產(chǎn)生劃分函數(shù)，可以使節(jié)點負載趨于均衡。針對原有的推測執(zhí)行機制效率低的問題，本