異構(gòu)環(huán)境中MapReduce資源調(diào)度機(jī)制的負(fù)載優(yōu)化方法研究.pdf

1、2006年，Google、Amazon等公司提出了云計算的概念，通過云計算，用戶可以根據(jù)流量負(fù)載快速發(fā)布和調(diào)整應(yīng)用資源。近些年，虛擬化技術(shù)和容器技術(shù)的快速發(fā)展，為上層應(yīng)用提供了可靠而便捷的資源;物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等產(chǎn)生了大量的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理平臺已經(jīng)難以支撐。Hadoop的誕生使得高效地處理海量數(shù)據(jù)成為了可能。目前，Hadoop已經(jīng)廣泛應(yīng)用于工程領(lǐng)域，并且展現(xiàn)了出色的性能。MapReduce作為其核心組件，雖然已經(jīng)獲得了大量學(xué)者和工程

2、師的注意，但是在異構(gòu)環(huán)境中仍然面臨著負(fù)載傾斜導(dǎo)致任務(wù)執(zhí)行不夠高效的問題，并且目前為止，還沒有有效的解決方案可以準(zhǔn)確估計實時機(jī)器負(fù)載和任務(wù)的執(zhí)行時間。另外，高效準(zhǔn)確的MapReduce資源分配對于優(yōu)化節(jié)點(diǎn)負(fù)載以及達(dá)到節(jié)點(diǎn)負(fù)載均衡的目的至關(guān)重要。本文針對異構(gòu)環(huán)境中MapReduce資源調(diào)度機(jī)制的負(fù)載優(yōu)化方法進(jìn)行了研究。具體研究內(nèi)容如下:
　　(1)基于實時資源情況，提出了自適應(yīng)推測執(zhí)行算法(ASE)。ASE通過多級索引存儲機(jī)制，對不同

3、節(jié)點(diǎn)在不同階段的運(yùn)行信息進(jìn)行分類存儲，并結(jié)合線性回歸算法，實現(xiàn)對當(dāng)前任務(wù)剩余運(yùn)行時間和備份任務(wù)所需的運(yùn)行時間預(yù)測。通過考慮實時集群運(yùn)行狀況，對當(dāng)前任務(wù)實施不同的策略以加快作業(yè)的執(zhí)行速度。最后，在負(fù)載狀況不同的集群中，本文對ASE的性能進(jìn)行了評估。
　　(2)基于雙層資源調(diào)度模型，提出了二層調(diào)度算法(SSA)以改善Hadoop雙層調(diào)度模型中第二層的調(diào)度過程。建立了時間預(yù)測模型PMK-ELM，并評估其預(yù)測精度。在此基礎(chǔ)之上，PMK-E