基于Maxdiff直方圖的MapReduce負(fù)載均衡研究.pdf

1、近年來，隨著信息技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)和物理信息系統(tǒng)等技術(shù)漸趨成熟，物聯(lián)網(wǎng)領(lǐng)銜的云計算、混合云計算和自然語言問答等新興技術(shù)突飛猛進，科學(xué)研究、電子商務(wù)和醫(yī)療保健等領(lǐng)域累積的數(shù)據(jù)已達 TB級以上，大數(shù)據(jù)已經(jīng)普遍存在于各個領(lǐng)域。傳統(tǒng)數(shù)據(jù)處理技術(shù)在性能擴展方面遭遇瓶頸，已經(jīng)不能滿足大數(shù)據(jù)的分析需求，以MapReduce為代表的批處理計算技術(shù)引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。MapReduce計算模型充分利用分布式計算和存儲資源，把數(shù)據(jù)

2、和計算任務(wù)分配到數(shù)以千計的廉價物理節(jié)點上，提供海量存儲能力和并行計算能力。作為處理海量數(shù)據(jù)的分布式大規(guī)模集群計算框架，MapReduce性能好、性價比高、穩(wěn)定性強，因此成為大數(shù)據(jù)環(huán)境下備受關(guān)注的數(shù)據(jù)處理技術(shù)，MapReduce負(fù)載均衡問題作為影響集群吞吐率的關(guān)鍵因素成為學(xué)術(shù)界的研究熱點。分布式計算環(huán)境下，數(shù)據(jù)分布的均勻程度很大程度上影響著集群的性能。然而，當(dāng)前MapReduce在數(shù)據(jù)混洗階段多采用哈希隨機劃分為Reduce階段分配數(shù)據(jù)，

3、當(dāng)數(shù)據(jù)分布傾斜時，會造成Reduce階段各節(jié)點負(fù)載不均衡，從而導(dǎo)致集群吞吐率降低。
　　本文提出一種基于Maxdiff直方圖的負(fù)載均衡方法 MHLB(Maxdiff Histogram Load Balance)。MHLB首先基于預(yù)處理技術(shù)，采用Maxdiff直方圖估計Map階段輸出中間結(jié)果的數(shù)據(jù)分布情況；然后基于貪心策略提出改進的數(shù)據(jù)劃分方法，實現(xiàn)數(shù)據(jù)混洗過后數(shù)據(jù)記錄的均衡劃分。實驗結(jié)果證明，在同構(gòu)集群下，較之標(biāo)準(zhǔn)MapRedu