基于hadoop的連接算法中數(shù)據(jù)傾斜問(wèn)題的研究.pdf

1、時(shí)至今日，隨著各項(xiàng)科學(xué)技術(shù)的飛速發(fā)展，大數(shù)據(jù)處理的需求日益增長(zhǎng)。hadoop map/reduce作為一個(gè)并行數(shù)據(jù)處理框架，被越來(lái)越多的應(yīng)用到分布式數(shù)據(jù)處理當(dāng)中。map/reduce是一個(gè)高效的，可擴(kuò)展的，高容錯(cuò)的并行編程模型，并且十分易于使用。連接操作作為數(shù)據(jù)處理中一種十分重要的操作，在傳統(tǒng)數(shù)據(jù)庫(kù)中已經(jīng)得到了很多的研究，由于map/reduce自身框架的原因，它并不能很好地支持連接操作。如今已經(jīng)有很多map/reduce框架下的連接算

2、法，但是這些算法大多沒(méi)有很好地處理數(shù)據(jù)傾斜問(wèn)題，當(dāng)數(shù)據(jù)傾斜存在時(shí)，會(huì)導(dǎo)致數(shù)據(jù)分布不均勻，降低了分布式算法的執(zhí)行效率。
　　本文首先簡(jiǎn)要的介紹了數(shù)據(jù)傾斜問(wèn)題的影響。然后針對(duì)兩表等值連接提出了分區(qū)連接算法，該算法基于分而治之的思想將傾斜數(shù)據(jù)和非傾斜數(shù)據(jù)區(qū)別對(duì)待，結(jié)合了傳統(tǒng)連接算法、廣播連接算法等算法思想，很好的解決了數(shù)據(jù)傾斜情況下任務(wù)負(fù)載分布不均勻的問(wèn)題。接著，針對(duì)多表等值連接中的數(shù)據(jù)傾斜問(wèn)題，我們利用范圍哈希以及單輪map/redu