MapReduce中基于抽樣技術(shù)的傾斜問(wèn)題研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，信息正在呈爆炸式增長(zhǎng)，每天都會(huì)產(chǎn)生海量的數(shù)據(jù)，存儲(chǔ)和分析海量數(shù)據(jù)是目前的一個(gè)巨大挑戰(zhàn)。近年來(lái)，云計(jì)算這一新計(jì)算模型自從誕生以來(lái)就備受關(guān)注，各大IT巨頭們紛紛將云計(jì)算作為首要發(fā)展戰(zhàn)略，提出了自己的云計(jì)算平臺(tái)和云計(jì)算服務(wù)，并且已經(jīng)有了顯著的成果。
　　 MapReduce作為一種大規(guī)模數(shù)據(jù)的并行處理模型在云計(jì)算環(huán)境下受到廣泛的應(yīng)用，它以其簡(jiǎn)單易用，高可擴(kuò)展性和容錯(cuò)性等特點(diǎn)被應(yīng)用于很多領(lǐng)域。然而，它也存在問(wèn)題，它

2、不能有效地處理傾斜的數(shù)據(jù)。當(dāng)MapReduce處理的數(shù)據(jù)分布不均勻時(shí)，會(huì)造成有些任務(wù)比其他任務(wù)運(yùn)行較慢的情況，而整個(gè)作業(yè)的執(zhí)行時(shí)間是由最慢的那個(gè)任務(wù)決定的，因此增加了整個(gè)作業(yè)的完成時(shí)間，使系統(tǒng)性能下降。本文對(duì)MapReduce中的傾斜問(wèn)題進(jìn)行了研究，提出了一種處理方法。
　　 本文的出發(fā)點(diǎn)是考慮當(dāng)傾斜的數(shù)據(jù)存在時(shí)，如何高效地將MapReduce中Map階段產(chǎn)生的中間結(jié)果劃分給Reduce，使所有Reduce能夠達(dá)到負(fù)載平衡。主要

3、工作為:
　　 (1)統(tǒng)計(jì)輸入文件中所有key的頻次分布，由于統(tǒng)計(jì)所有數(shù)據(jù)的開(kāi)銷較大，所以本文采用抽樣技術(shù)，估算keys的出現(xiàn)次數(shù)。將統(tǒng)計(jì)key頻次分布這一操作用一個(gè)單獨(dú)MapReduce作業(yè)來(lái)完成。并且，文中給出抽樣的理論分析，證明抽取出的樣本能夠代替源輸入文件進(jìn)行key的頻次估計(jì)。(2)根據(jù)統(tǒng)計(jì)出來(lái)的所有key的頻次分布結(jié)果，提出兩種劃分方法:Cluster組合和Cluster分割，前者在數(shù)據(jù)傾斜度不大的時(shí)候較有效，后者在數(shù)