云計算環(huán)境下的自主調度技術研究.pdf

1、云計算是信息技術革命的產物，是一種大規(guī)模復雜計算系統(tǒng)。云計算系統(tǒng)時刻都在處理海量數據和應用任務，具有高度的動態(tài)性。由于云計算系統(tǒng)具有資源規(guī)模龐大且異構多樣、用戶群體廣泛、應用任務類型各異且QoS目標約束各異等特性，系統(tǒng)需要頻繁地對云平臺中的各種資源與應用任務進行實時調度和動態(tài)管理。而云計算作為一種商業(yè)計算模式，其目的是實現資源共享與協同工作，并同時滿足用戶的服務請求和云服務提供商的服務收益。因此，如何對云資源進行合理的分配，對海量應用任

2、務進行高效管理與實時調度，在確保云計算系統(tǒng)負載均衡和提高云資源利用率的前提下，降低用戶的成本，提高云服務提供商的收益，是目前云計算環(huán)境下的研究熱點之一。
　　從本質上說，云計算環(huán)境下的任務調度是需要建立一種應用任務與計算資源之間合適的映射關系的調度策略，其目的是實現計算資源的合理分配與應用任務的高效執(zhí)行。早期傳統(tǒng)的分布式計算系統(tǒng)、網格計算系統(tǒng)等，通過系統(tǒng)吞吐量和任務完成時間等性能指標衡量調度管理的效果。但是在云計算環(huán)境下，任務調度

3、問題往往更加復雜。首先，云計算環(huán)境下應用任務請求往往是非集中式的，而且規(guī)模巨大，傳統(tǒng)的集中式的資源管理系統(tǒng)已經不再適用，云計算系統(tǒng)必須以一種分布式的并行模式對任務和資源進行調度與管理；其次，云資源通常來自不同的云服務提供商，各個機構的云資源往往是異構的，如何將各種異構資源組合成完整的服務提供給用戶是非常復雜的；再者，由于云計算系統(tǒng)具有動態(tài)可擴展的性質，相應的任務調度也必須滿足可擴展性與自適應性；然后，云計算作為一種商業(yè)模式，云服務提供商

4、首先要考慮的是如何提高自身的資源利用率，提升共享使用率從而降低成本，獲得盡可能多的服務收益，這就使得任務調度必須考慮云計算系統(tǒng)的整體負載均衡問題。最后，從用戶的角度而言，云服務提供商所提供的服務是否滿足用戶任務調度的QoS多目標需求是任務調度策略必須考慮的問題。
　　因此，針對上述目前云計算環(huán)境下任務調度存在的問題，本文對云環(huán)境下的任務調度技術做了詳細而系統(tǒng)的研究，其主要內容包括四個方面：云環(huán)境下用戶任務調度的QoS多目標優(yōu)化問題

5、、云資源利用率與云計算系統(tǒng)負載均衡問題、云計算系統(tǒng)任務調度策略執(zhí)行效率問題、用戶任務調度成本與云服務提供商服務收益問題。本文在對這些問題進行深入研究的基礎上，設計了一套云計算環(huán)境下的自主調度體系架構，并對其中重要功能都給出了詳細的算法與實驗結果。論文的主要研究內容包括以下幾個方面：
　　1）在分析和研究了云計算環(huán)境下任務調度存在的問題及目標要求的基礎上，提出了一種云計算環(huán)境下的自主調度體系架構。在自主調度體系架構中，系統(tǒng)為每個向云

6、計算系統(tǒng)請求服務的用戶創(chuàng)建一個云代理進行智能分析和決策，并為每個云代理設計了分析、評估、博弈等功能與算法。本文通過對云代理功能進行分類，設計了一個兩層的自上而下的自主調度模型。其中，針對用戶與云服務提供商之間的協商問題，設計了云代理協商模型。云代理通過一系列約束規(guī)則與目標規(guī)則選擇符合用戶QoS目標約束的SLA協議，并對SLA協議進行評估。其次，針對多個用戶對關鍵資源的競爭而導致的資源沖突問題，設計了云代理博弈模型。云代理將系統(tǒng)全局收益函

7、數引入到用戶個體的收益函數中，在滿足用戶QoS多目標優(yōu)化需求的前提下，云代理之間通過自主競爭博弈的模式，使整個系統(tǒng)達成全局利益最優(yōu)。云代理通過協商、自主博弈的方式實現了用戶任務的自主調度，提高了任務調度策略的執(zhí)行效率，并且降低了用戶的調度成本，也提高了云服務提供商的服務收益。
　　2）針對在云計算環(huán)境下，用戶如何判斷云服務提供商在SLA中承諾的資源是否滿足用戶任務的QoS需求，本文提出了一種星型結構下的SLA任務調度評估算法。該算

8、法通過云代理將云服務提供商SLA中承諾的資源抽象為標準的虛擬資源，并將用戶任務與虛擬資源的映射關系抽象為星型拓撲結構的云計算系統(tǒng)。通過評估云計算系統(tǒng)的性能與可靠性，評估相應云服務提供商所承諾的資源的服務質量。用戶將SLA中承諾的服務質量作為一種判斷標準，判斷云服務提供商提供的服務是否能夠滿足用戶任務的QoS需求。
　　3）針對用戶任務調度的QoS多目標優(yōu)化問題，提出了一種基于NSGA-II的多目標優(yōu)化調度算法。云計算環(huán)境下，用戶如

9、何在一組有效的SLA集合中，選出符合其QoS多目標優(yōu)化需求的調度策略依然是非常困難的問題。用戶請求的任務集通常包含多個任務，每個任務都可以和不同的云服務提供商簽訂SLA協議，整個任務集的SLA協議由單個任務的SLA協議組合而成，組合過程往往呈現出指數級的復雜度。另一方面，用戶的QoS目標之間往往是沖突的，例如，服務時間和服務成本之間是沖突的，要獲得快速響應的服務，就需要計算能力較高的資源，而計算能力越高其成本就越高，必然無法同時滿足兩個

10、目標。本文提出的算法為用戶提供了一種高效快速的選擇機制，通過NSGA-II算法對多個目標進行并行搜索，與傳統(tǒng)的將多個目標轉化為單目標問題相比，本文的算法能夠在滿足用戶QoS多目標優(yōu)化需求的前提下，高效地為其選擇合理的最優(yōu)的SLA任務調度策略。
　　4）在已經簽訂了SLA協議的情況下，用戶任務選擇SLA中不同的云資源構成了不同的任務調度策略。針對如何判斷哪些調度策略滿足用戶的QoS多目標優(yōu)化需求，提出了一種虛擬樹型結構下的調度評估算

11、法。根據云資源的性質，將用戶任務與云資源的映射關系建模為由網絡連接起來的虛擬樹型結構。在樹型結構下，通常需要考慮共享傳輸通道失效引起的共因失效問題。針對此問題，本文利用最小生成樹算法對云資源與傳輸通道進行數學建模。對于一個任務分配給多個資源節(jié)點冗余執(zhí)行的情況，只要存在一個資源節(jié)點不失效，該任務就能成功完成；對于多個任務共享同一資源的情況，算法通過在云資源節(jié)點上增加新的分支和葉子節(jié)點，如果是并行任務就平均分配共享資源，如果是串行任務則獨享

12、資源。因此，在樹型結構下，用戶任務與云資源之間是一種動態(tài)靈活的映射模式。本文提出的算法能夠對任意一個任務調度策略的服務質量進行快速且準確的評估，將其應用于云代理博弈模型的效用函數計算中，在提高每個用戶的調度策略執(zhí)行效率的同時，也提高了云服務提供商的資源利用率。
　　5）針對大量用戶同時提交任務調度請求的問題，以及多個用戶之間對關鍵資源的競爭問題，本文在博弈論的基礎上提出了一種基于囚徒困境博弈的多代理自主調度算法。該算法假設每個用戶

13、具有自己的偏好和自私性的特性，總是傾向最大化自己的利益，每個用戶都只會選擇對自己最有利的資源，不管是否對其他用戶產生影響。由于用戶的個體理性，形成了囚徒困境，導致了資源分配沖突，比如大多數用戶都選擇了同一個資源，使得系統(tǒng)負載不均衡。算法通過云代理之間的自主博弈過程，將云計算系統(tǒng)的全局效用目標融入到每個用戶的局部效用目標中，通過設計云代理之間的博弈規(guī)則和對應的獎勵因子，在每個云代理追求各自效用目標的前提下，使得整個云計算系統(tǒng)獲得全局最優(yōu)收