MapReduce計(jì)算模型下數(shù)據(jù)傾斜處理方法的研究.pdf

1、“大數(shù)據(jù)”時(shí)代的到來(lái)，眾多涉及海量數(shù)據(jù)處理的應(yīng)用蓬勃涌現(xiàn)，傳統(tǒng)的分布式數(shù)據(jù)庫(kù)、并行數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)等系統(tǒng)的數(shù)據(jù)管理和處理技術(shù)，由于在可擴(kuò)展性、高可用性和容錯(cuò)性等方面的限制，已無(wú)法適應(yīng)海量數(shù)據(jù)的存儲(chǔ)和處理。在大規(guī)模數(shù)據(jù)分析和處理中，云計(jì)算平臺(tái)建設(shè)都需要數(shù)據(jù)密集型計(jì)算模型的支撐。MapReduce數(shù)據(jù)密集型計(jì)算模型最早由Google提出，主要用于處理和分析大規(guī)模數(shù)據(jù)集，充分利用分布式計(jì)算和存儲(chǔ)資源，把數(shù)據(jù)處理和計(jì)算任務(wù)分配到數(shù)以千計(jì)的廉價(jià)物

2、理節(jié)點(diǎn)上，提供海量存儲(chǔ)能力和并行計(jì)算能力。然而，MapReduce計(jì)算模型會(huì)在任務(wù)執(zhí)行過(guò)程中出現(xiàn)不均衡問(wèn)題，進(jìn)而影響任務(wù)運(yùn)行效率。Map任務(wù)或Reduce任務(wù)應(yīng)盡量避免發(fā)生輸入數(shù)據(jù)傾斜，這將導(dǎo)致某些子任務(wù)運(yùn)行緩慢，嚴(yán)重地影響MapReduce的產(chǎn)能。此外，在數(shù)據(jù)連接中,當(dāng)某些數(shù)值的出現(xiàn)次數(shù)遠(yuǎn)遠(yuǎn)髙于其他數(shù)值出現(xiàn)的次數(shù)時(shí),就會(huì)發(fā)生數(shù)據(jù)傾斜問(wèn)題。
　　本文針對(duì)MapReduce計(jì)算模型Hash分區(qū)策略易引發(fā)Reduce階段輸入數(shù)據(jù)傾斜問(wèn)

3、題，提出基于Hash虛擬平衡重分區(qū)的數(shù)據(jù)傾斜處理算法 HVBR-SH(Hash Virtual Balance Repartitioning based Skew Handling)。HVBR-SH在Map階段采用虛擬分區(qū)，使得鍵值對(duì)分散存儲(chǔ)，為后續(xù)重分區(qū)提供更優(yōu)分區(qū)組合；在 Reduce階段，HVBR-SH利用連續(xù)虛擬分區(qū)平衡重組的方法將收集到的虛擬分區(qū)重新劃分成與Reduce任務(wù)數(shù)相同分區(qū)，并確保重分區(qū)后最大

4、分區(qū)的數(shù)據(jù)量最小，加快整個(gè) Reduce階段的執(zhí)行速度。對(duì)比實(shí)驗(yàn)結(jié)果表明，HVBR-SH算法能有效平衡各個(gè)Reduce任務(wù)的輸入規(guī)模并控制運(yùn)行時(shí)間，有效改善了Reduce輸入傾斜問(wèn)題，提高了MapReduce任務(wù)的執(zhí)行效率。針對(duì)現(xiàn)有MapReduce在大規(guī)模集群上進(jìn)行海量數(shù)據(jù)連接處理操作時(shí)的效率問(wèn)題，提出一種基于預(yù)散列和索引技術(shù)的MapReduce數(shù)據(jù)連接處理機(jī)制。該機(jī)制對(duì) Map結(jié)果數(shù)據(jù)先進(jìn)行預(yù)散列處理，建立對(duì)應(yīng)