基于MapReduce數(shù)據(jù)傾斜問題的研究與策略.pdf

1、云計(jì)算和大數(shù)據(jù)一直是最近幾年來最熱門的話題之一，隨著信息技術(shù)的不斷發(fā)展，云計(jì)算和大數(shù)據(jù)為社會(huì)各個(gè)領(lǐng)域帶來了一場技術(shù)革命，同時(shí)加上互聯(lián)網(wǎng)的普及和國家對(duì)“互聯(lián)網(wǎng)+”的推動(dòng)，人們都加入到對(duì)云計(jì)算大數(shù)據(jù)的技術(shù)研究中來。在這樣的背景下，每天都伴隨有大量的信息產(chǎn)生，使得數(shù)據(jù)呈指數(shù)增長，而如此大規(guī)模數(shù)據(jù)背后蘊(yùn)藏的無限價(jià)值也值得人們?nèi)ネ诰颍瑖鴥?nèi)外的很多著名IT企業(yè)也都將其納入為首要戰(zhàn)略。
　　MapReduce作為一種大數(shù)據(jù)環(huán)境下的并行計(jì)算編程模

2、型，其高效可靠的特性被應(yīng)用于各個(gè)領(lǐng)域，但是MapReduce本身也存在一定的局限，當(dāng)它處理分布不均勻的數(shù)據(jù)時(shí)，經(jīng)過Map階段后Reducer節(jié)點(diǎn)所分配到的任務(wù)負(fù)載不均衡，導(dǎo)致出現(xiàn)“木桶效應(yīng)”，某些節(jié)點(diǎn)負(fù)載輕完成后即進(jìn)入空閑狀態(tài)，而負(fù)載重的節(jié)點(diǎn)仍在計(jì)算狀態(tài)而完成時(shí)間長，從而影響整體作業(yè)的工作效率，降低集群工作性能。
　　本文針對(duì)上述問題做出研究并提出相應(yīng)策略，策略第一階段使用一種水塘抽樣算法對(duì)原數(shù)據(jù)進(jìn)行抽樣，通過開啟一個(gè)抽樣預(yù)處理作

3、業(yè)來統(tǒng)計(jì)樣本數(shù)據(jù)中key值頻次分布并估算出整體數(shù)據(jù)的分布，同時(shí)使用一致性Hash算法代替默認(rèn)的Hash分區(qū)算法進(jìn)行分區(qū)，使得抽樣預(yù)處理作業(yè)的Reducer達(dá)到一定的均衡。策略第二階段使用一種改進(jìn)的Partitioner算法根據(jù)預(yù)處理計(jì)算的中間結(jié)果制定出合理的分區(qū)方案，并在最后的實(shí)驗(yàn)中用作業(yè)的總體運(yùn)行時(shí)間和Reducer節(jié)點(diǎn)負(fù)載均衡情況兩種指標(biāo)進(jìn)行驗(yàn)證，并與傳統(tǒng)的抽樣方法及默認(rèn)的Hash分區(qū)函數(shù)進(jìn)行對(duì)比，實(shí)驗(yàn)表明本文方案在處理具有傾斜屬性