Hadoop云平臺調(diào)度算法研究.pdf

1、Hadoop集群雖然已經(jīng)存在多年，但是依然是當(dāng)前集群加速計算中的主要工具，并在各大互聯(lián)網(wǎng)公司得到廣泛應(yīng)用。由于調(diào)度算法在集群中起到了關(guān)鍵作用，而Hadoop中的調(diào)度算法還是有有待改進(jìn)的地方，故對Hadoop的研究依然很有意義。同時，云計算技術(shù)使得用戶能夠快速獲得任意大小的集群，來執(zhí)行一個給定的工作負(fù)載，然后用戶為使用資源的時長付費，所以如何優(yōu)化Hadoop云平臺的租用費用也很有研究意義。此外，隨著云平臺規(guī)模的不斷擴(kuò)大，并且普通節(jié)點大量用

2、于云平臺的資源中，因而節(jié)點的容錯研究也變得越來越關(guān)鍵，如何提高 Hadoop云平臺的容錯性是一個值得研究的課題。
　　為了利用有限的資源最大地減少作業(yè)的完成時間，本文在研究Hadoop推測執(zhí)行機制的基礎(chǔ)上，為此提出了一個基于平衡的推測執(zhí)行算法（Balance-SE）。算法在進(jìn)行推測執(zhí)行時，先對每個作業(yè)進(jìn)行篩選，讓只有滿足條件的作業(yè)進(jìn)行推測執(zhí)行機制，從而使得推測執(zhí)行機制的進(jìn)行能夠真正使得作業(yè)的總完成時間得到減少，避免了許多不必要的備

3、份任務(wù)的執(zhí)行。同時，由于云平臺具有按使用付費的特性，為了最小化用戶租用云平臺資源的開銷，我們?yōu)槊總€不同的MapReduce應(yīng)用選擇一個最佳的 Hadoop配置平臺，這里的配置信息包括虛擬機(Virtual Machine，VM)的類型、個數(shù)，以及作業(yè)的調(diào)度。即給定一系列MapReduce作業(yè)和一個作業(yè)截止完成時間，為這些作業(yè)決策一個同構(gòu)或者異構(gòu)的最優(yōu)Hadoop集群配置，使得用戶的租用費用最小。由于Hadoop云平臺容錯的重要性，以及不

4、同類型的VM具有不同的計算能力，從而使得不同類型的VM發(fā)生故障將引起不同的開銷，顯然，發(fā)生故障的VM計算能力越大，導(dǎo)致的開銷也越大。因此，本文在此基礎(chǔ)上設(shè)計了一個基于自適應(yīng)和檢查點的容錯算法。首先每個VM根據(jù)其完成作業(yè)的情況，自適應(yīng)地更新自身的可靠性，如果 VM正確地完成一個作業(yè)，則相應(yīng)的可靠性增加，若運行一個作業(yè)失敗，則VM可靠性降低。接著，對于可靠性低于一定閾值的VM進(jìn)行檢查點設(shè)置，而針對不同類型的VM，本文分別進(jìn)行考慮，為不同類型