基于數(shù)據(jù)偏斜條件下Reduce任務放置機制的研究.pdf

1、隨著網(wǎng)絡技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)已經(jīng)越來越普及，各行各業(yè)都受到它的影響，網(wǎng)絡用戶數(shù)目不斷攀升，這也使得互聯(lián)網(wǎng)中所產(chǎn)生的數(shù)據(jù)朝著大和雜的方向發(fā)展，對這類型數(shù)據(jù)的分析處理和挖掘搜索已經(jīng)成為互聯(lián)網(wǎng)行業(yè)新的方向，同時這些都為分布式計算和云計算的發(fā)展提供了新的發(fā)展機遇。MapReduee是Google提出用于處理海量數(shù)據(jù)的分布式并行計算編程模型，基于該框架能夠容易地編寫應用程序，這些應用程序能夠運行在由上千個機器組成的大集群上，具有自動并行處理作業(yè)

2、、可靠性高、具有容錯能力以及編程簡單，能夠并行地處理上TB級別的海量數(shù)據(jù)集等特點。
　　在大多數(shù)運行的Hadoop系統(tǒng)中，對于頻繁的磁盤I/O和跨機架和不同物理節(jié)點的大數(shù)據(jù)量的傳輸，中間數(shù)據(jù)的傳輸已經(jīng)成為制約性能的的瓶頸。本文提出reduce任務放置算法，將目標任務調(diào)度到其相關(guān)map任務所在的物理節(jié)點或者同一機架內(nèi)以此來獲得中數(shù)據(jù)，提高本地化讀取數(shù)據(jù)性能。由于key值是需要直到map任務結(jié)束之后才能被計算，本輪提出了一種基于水池抽

3、樣的方法來獲取中間鍵值的分布情況。基于這個抽樣的出來的數(shù)據(jù)分布比較好的接近原始數(shù)據(jù)的分布，基于這個中間鍵值的分布來執(zhí)行分區(qū)策略，跨機架之間通信通過考慮它的距離和損耗將對應于map任務相關(guān)的reduce任務調(diào)度值其相近的物理節(jié)點來獲取中間數(shù)據(jù)的本地性。論文基于Hadoop2.4.0來實現(xiàn)CORP(Correlation-oriented reduceplacement)算法并且通過sort，grep，join這三種作業(yè)類型來對其性能進行評

4、估，實驗的結(jié)果也顯示該算法在對其數(shù)據(jù)本地性和reduce負載有了較大的改善，但是由于前期的抽樣帶來的額外的負擔使得論文中CORP算法對于執(zhí)行時間方面的優(yōu)化不是特別的大。
　　本論文不僅在Hadoop的集群環(huán)境中基于數(shù)據(jù)傾斜實現(xiàn)了任務的放置的研究，并且將該方法至于云環(huán)境中通過虛擬機來實現(xiàn)任務的放置。任務虛機啟動的位置越是靠近存儲節(jié)點，獲得的本地化數(shù)據(jù)就越多。基于現(xiàn)有的模型和工作提出了虛擬機啟發(fā)式遷移HM(Heuristic Migr