云環(huán)境下能量高效的任務(wù)調(diào)度方法研究與應(yīng)用.pdf

1、隨著信息化技術(shù)的發(fā)展和應(yīng)用，各行業(yè)產(chǎn)生的數(shù)據(jù)呈爆炸式增長(zhǎng)。傳統(tǒng)數(shù)據(jù)庫技術(shù)不能很好地解決海量數(shù)據(jù)、高并發(fā)、快速響應(yīng)、可擴(kuò)展性等大數(shù)據(jù)應(yīng)用問題。因此如何高效地存儲(chǔ)和管理這些數(shù)據(jù)，是目前亟需解決的問題。云計(jì)算的經(jīng)濟(jì)性、可擴(kuò)展性、容錯(cuò)性等特點(diǎn)使其成為大數(shù)據(jù)管理的支撐技術(shù)。隨著云計(jì)算的廣泛應(yīng)用，數(shù)據(jù)中心的數(shù)量和規(guī)?？焖僭鲩L(zhǎng)，電費(fèi)開銷已經(jīng)超過了硬件設(shè)備本身的購置費(fèi)用，且仍處于持續(xù)增長(zhǎng)狀態(tài)。快速增長(zhǎng)的能量消耗同時(shí)加劇全球能源危機(jī)和環(huán)境污染。因此研究云

2、環(huán)境下能量高效的數(shù)據(jù)管理技術(shù)刻不容緩。
　　云環(huán)境下能量高效的任務(wù)調(diào)度技術(shù)是云環(huán)境下能量高效的數(shù)據(jù)管理技術(shù)的重要組成部分，目的是通過任務(wù)調(diào)度的方法降低用于任務(wù)處理的節(jié)點(diǎn)在任務(wù)處理過程中的能量消耗。本文分別從單節(jié)點(diǎn)和多節(jié)點(diǎn)兩個(gè)層面研究云環(huán)境下的能量高效的任務(wù)調(diào)度技術(shù)。本文的主要?jiǎng)?chuàng)新點(diǎn)如下：
　　(1)由于現(xiàn)有的多核處理器節(jié)點(diǎn)上能量高效的任務(wù)調(diào)度方法通常假設(shè)可以獨(dú)立控制各個(gè)內(nèi)核的狀態(tài)，在能耗計(jì)算階段只考慮處理器本身的能耗而未考慮

3、節(jié)點(diǎn)其他部件的能耗，且對(duì)能效的度量方式未考慮實(shí)際意義，因此提出一種面向多種內(nèi)核結(jié)構(gòu)的代價(jià)感知的任務(wù)調(diào)度框架。綜合考慮處理器的靜態(tài)功耗、動(dòng)態(tài)功耗以及節(jié)點(diǎn)其他部件功耗，使用經(jīng)濟(jì)代價(jià)度量節(jié)點(diǎn)進(jìn)行任務(wù)處理的時(shí)間代價(jià)和能量代價(jià)，將任務(wù)處理時(shí)間、等待時(shí)間和能量消耗代價(jià)統(tǒng)一。在此基礎(chǔ)上分別針對(duì)獨(dú)立控制、整體控制和分組控制三種內(nèi)核結(jié)構(gòu)的處理器設(shè)計(jì)不同的任務(wù)調(diào)度算法。使用該調(diào)度框架和任務(wù)調(diào)度算法可以降低節(jié)點(diǎn)的任務(wù)處理代價(jià)：當(dāng)內(nèi)核為獨(dú)立控制結(jié)構(gòu)時(shí)，負(fù)載越輕

4、該方法相對(duì)傳統(tǒng)方法的優(yōu)勢(shì)越明顯；當(dāng)內(nèi)核為整體控制結(jié)構(gòu)時(shí)，隨著負(fù)載加重該方法的節(jié)點(diǎn)代價(jià)低于傳統(tǒng)方法且二者之間的差距越來越大；當(dāng)內(nèi)核為分組控制結(jié)構(gòu)時(shí)，該方法的節(jié)點(diǎn)代價(jià)與傳統(tǒng)方法相比成倍減少。
　　(2)現(xiàn)有的云環(huán)境任務(wù)層能量高效的數(shù)據(jù)密集型任務(wù)調(diào)度方法主要通過改變數(shù)據(jù)存儲(chǔ)策略實(shí)現(xiàn)能量高效，此類方法與具體的數(shù)據(jù)存儲(chǔ)方法和存儲(chǔ)介質(zhì)相關(guān)，不具備通用性，因此提出一種同構(gòu)節(jié)點(diǎn)環(huán)境下與數(shù)據(jù)存儲(chǔ)策略無關(guān)的能量高效的數(shù)據(jù)密集型任務(wù)處理方法EABD。在

5、任務(wù)調(diào)度過程中綜合考慮處理任務(wù)的節(jié)點(diǎn)數(shù)和節(jié)點(diǎn)間的負(fù)載均衡情況，降低任務(wù)處理過程中的能量消耗。盡管該方法相對(duì)于傳統(tǒng)方法使用更多的節(jié)點(diǎn)處理任務(wù)，但其任務(wù)處理過程中的能量消耗比傳統(tǒng)方法更小，在某些情況下其能量消耗甚至不足傳統(tǒng)方法的50％。該算法的能量消耗受副本數(shù)量影響較小，且在默認(rèn)3個(gè)副本的情況下該算法造成的能量浪費(fèi)最少。
　　(3)針對(duì)實(shí)際云環(huán)境下的節(jié)點(diǎn)異構(gòu)性問題，提出一種異構(gòu)節(jié)點(diǎn)環(huán)境下與數(shù)據(jù)存儲(chǔ)策略和存儲(chǔ)介質(zhì)無關(guān)的能量高效的數(shù)據(jù)密集

6、型任務(wù)處理方法MinBalance，將任務(wù)調(diào)度過程分為節(jié)點(diǎn)選擇和負(fù)載均衡兩步。在節(jié)點(diǎn)選擇過程中，定義四種不同的節(jié)點(diǎn)權(quán)值，根據(jù)貪心算法選擇權(quán)值最小的節(jié)點(diǎn)進(jìn)行任務(wù)處理。在負(fù)載均衡階段對(duì)參與任務(wù)處理的節(jié)點(diǎn)的負(fù)載進(jìn)行均衡，減少節(jié)點(diǎn)因等待而造成的能量浪費(fèi)。該方法充分考慮節(jié)點(diǎn)的性能和功耗的異構(gòu)性，降低任務(wù)處理的能量消耗，當(dāng)待處理的數(shù)據(jù)量較大時(shí)，MinBalance可減少約60%的能量消耗。
　　(4)針對(duì)目前能量高效的虛擬機(jī)調(diào)度方法主要考慮任

7、務(wù)特征和資源分配，僅通過減少節(jié)點(diǎn)使用數(shù)量降低能耗的問題，提出一種云環(huán)境下能量高效的虛擬機(jī)調(diào)度算法 EEVS。首先將虛擬機(jī)分配到擁有足夠資源且最優(yōu)性能功率比最高的物理機(jī)上執(zhí)行，從節(jié)點(diǎn)層減少能量消耗。在虛擬機(jī)執(zhí)行過程中采用基于DVFS的單節(jié)點(diǎn)節(jié)能技術(shù)，通過虛擬機(jī)遷移進(jìn)行資源整合，減少每個(gè)物理機(jī)的能量消耗，從部件層進(jìn)一步降低系統(tǒng)的能量消耗。EEVS算法在不造成明顯效率降低的情況下，可以節(jié)約超過10%的能量消耗。
　　(5)針對(duì)目前云計(jì)算