基于狀態(tài)矩陣的Hadoop YARN節(jié)能調(diào)度策略的研究.pdf

1、隨著云計算集群規(guī)模的快速擴張，其所帶來的能量消耗和成本越來越巨大，不論從經(jīng)濟角度還是環(huán)保角度，如何降低集群的能量消耗，實現(xiàn)“綠色計算”，已經(jīng)成為急需解決的問題，“綠色計算”也是當(dāng)前云計算領(lǐng)域的一個研究熱點。
　　作為開源云計算平臺系統(tǒng)中的佼佼者，Hadoop的應(yīng)用變得越來越廣泛，包括互聯(lián)網(wǎng)、金融、醫(yī)療、零售等行業(yè)開始使用Hadoop。本文從實際角度出發(fā)，以集群資源調(diào)度策略作為切入點，針對Hadoop YARN系統(tǒng)，研究了基于狀態(tài)矩

2、陣的節(jié)能調(diào)度策略，并結(jié)合Hadoop YARN系統(tǒng)組成結(jié)構(gòu)和實現(xiàn)原理，實現(xiàn)了一個YARN節(jié)能資源調(diào)度器。
　　本文設(shè)計的節(jié)能資源調(diào)度策略主要有兩個原則：（1）服務(wù)最優(yōu)原則，即在資源調(diào)度時，其所選擇的任務(wù)在對應(yīng)節(jié)點應(yīng)該能夠獲得較為高效的服務(wù)；（2）能耗最低原則，在保證服務(wù)的基礎(chǔ)上，最終選擇的任務(wù)應(yīng)是所有任務(wù)中使得節(jié)點功耗最低的一個。為了滿足以上兩個調(diào)度原則，需要對集群各個節(jié)點的負載情況進行監(jiān)控，為此本文構(gòu)建了一個用于描述集群節(jié)點負載

3、情況的狀態(tài)矩陣，并以狀態(tài)矩陣為基礎(chǔ)，設(shè)計了負載預(yù)測模型對節(jié)點未來狀態(tài)進行估算，設(shè)計了功率計算模型，根據(jù)負載狀態(tài)對節(jié)點功率進行計算。
　　在節(jié)能調(diào)度流程上，本文首先依據(jù)應(yīng)用的資源使用特征對應(yīng)用進行了聚類分析，具體的調(diào)度策略分為兩個階段：（1）根據(jù)節(jié)點的負載預(yù)測數(shù)據(jù)以及應(yīng)用的資源使用特征，以服務(wù)最優(yōu)原則選擇適合在此節(jié)點運行的備選應(yīng)用集；（2）依據(jù)能耗最低原則，在備選應(yīng)用集中，依據(jù)功率計算模型，選擇一個能夠使節(jié)點功率最低的作為目標(biāo)應(yīng)用。

4、
　　在以上研究基礎(chǔ)上，本文通過分析Hadoop YARN各個組件的功能以及調(diào)度器實現(xiàn)原理，將節(jié)能資源調(diào)度的各功能模塊在原系統(tǒng)中進行了實現(xiàn)。通過對重新設(shè)計過的系統(tǒng)進行完全分布式部署測試，節(jié)能調(diào)度的資源監(jiān)控、能耗計算、負載預(yù)測以及資源調(diào)度等主要功能均能正常工作。通過設(shè)計對比實驗對節(jié)能調(diào)度器、FIFO Scheduler、Capacity Scheduler進行了比較，結(jié)果表明，節(jié)能調(diào)度器在保證了執(zhí)行效率的基礎(chǔ)上，在降低集群整體能耗方