面向MapReduce的調度策略優(yōu)化研究.pdf

1、互聯(lián)網(wǎng)時代的快速發(fā)展帶來了大數(shù)據(jù)時代，大規(guī)模數(shù)據(jù)的高效處理對生產和實踐意義重大，傳統(tǒng)的計算模式已無法滿足海量數(shù)據(jù)的處理需求。2004年，在Google發(fā)表了GFS和MapReduce的論文后，Hadoop開源項目應運而生。Hadoop由HDFS和MapReduce構成，MapReduce作為其核心組件，主要負責海量數(shù)據(jù)的分布式處理，其計算性能是一個備受關注的熱點問題。通過大量的調研和實驗分析發(fā)現(xiàn)，數(shù)據(jù)本地化是影響MapReduce計算框

2、架性能的一個重要因素，它對集群網(wǎng)絡帶寬的消耗和節(jié)點的計算效率都構成影響。本文以MapReduce數(shù)據(jù)本地化為切入點，旨在通過提升MapReduce數(shù)據(jù)本地化來提升作業(yè)的執(zhí)行效率。
　　數(shù)據(jù)本地化即數(shù)據(jù)源在計算本地，本文深入剖析了MapReduce任務調度機制，發(fā)現(xiàn)MapReduce選擇數(shù)據(jù)塊和計算節(jié)點時的粗糙性是其數(shù)據(jù)本地化程度不高的主要原因。為了解決這個問題，本文對任務調度和資源分布進行了高度抽象并建模，提出了Bolas和Bol

3、as+兩個高效的任務調度算法，解決了MapReduce數(shù)據(jù)本地化的問題，也提升了作業(yè)執(zhí)行效率。
　　在MapReduce調度優(yōu)化方面，本文有很好的創(chuàng)新性。Bolas創(chuàng)新性的將MapRe-duce的任務調度抽象為帶權二分圖的最優(yōu)匹配問題，并創(chuàng)新性的解決了二分圖匹配過程中計算節(jié)點和數(shù)據(jù)塊的不匹配問題。Bolas+創(chuàng)新性的提出基于數(shù)據(jù)塊標記的輕量級調度策略，在調度中，對數(shù)據(jù)塊和節(jié)點進行了更加精細化的考慮。
　　通過大量實驗證明，B

4、olas可以將作業(yè)的數(shù)據(jù)本地化程度提升到100％，作業(yè)的執(zhí)行效率能平均提升25%，Bolas+的數(shù)據(jù)本地化程度平均能保持在95%以上，隨著作業(yè)規(guī)模變大，本地化趨于100%，作業(yè)執(zhí)行效率能平均提升15%?；趫D匹配Bolas雖然能取得很好的調度結果，但其算法復雜度為O(n3)，隨著作業(yè)規(guī)模的增大大，響應時間增速變快；基于數(shù)據(jù)塊標記的Bolas+的算法復雜度為O(n/m)，其響應時間隨著作業(yè)規(guī)模的增大是線性增長的，n代表數(shù)據(jù)塊的數(shù)量，m代表