網(wǎng)格環(huán)境下作業(yè)可靠調(diào)度機(jī)制的研究.pdf

1、隨著越來(lái)越多的計(jì)算、存儲(chǔ)、信息等資源加入到網(wǎng)格環(huán)境，網(wǎng)格的動(dòng)態(tài)性、自治性和異構(gòu)性更加明顯。網(wǎng)格作業(yè)調(diào)度是網(wǎng)格系統(tǒng)與應(yīng)用主體的關(guān)鍵紐帶，它的可靠與否不僅影響著網(wǎng)格系統(tǒng)的成敗、效率，同時(shí)也直接決定網(wǎng)格用戶的參與和接受程度，制約著網(wǎng)格技術(shù)的應(yīng)用和推廣。為了保證動(dòng)態(tài)網(wǎng)格環(huán)境下作業(yè)的成功執(zhí)行，保證網(wǎng)格系統(tǒng)的服務(wù)質(zhì)量，可靠的作業(yè)調(diào)度是一項(xiàng)重要而又亟待解決的難題之一。在網(wǎng)格系統(tǒng)中，各個(gè)組成部分相互關(guān)聯(lián)。因此，作業(yè)調(diào)度離不開(kāi)其它部分的協(xié)同工作，要實(shí)現(xiàn)動(dòng)

2、態(tài)網(wǎng)格環(huán)境下作業(yè)的可靠調(diào)度需要解決多個(gè)關(guān)鍵問(wèn)題，包括：可靠的資源發(fā)現(xiàn)、可靠的資源選擇以及有效的容錯(cuò)機(jī)制。如何在動(dòng)態(tài)的網(wǎng)格環(huán)境下保證作業(yè)的可靠調(diào)度是本研究的重點(diǎn)。
　　 首先，可靠的資源發(fā)現(xiàn)是作業(yè)調(diào)度的前序步驟和基礎(chǔ)，網(wǎng)格環(huán)境下的資源發(fā)現(xiàn)由網(wǎng)格信息服務(wù)完成。為了提高資源發(fā)現(xiàn)的可靠性，提出了基于DHT（Distributed Hash Table）和本體的網(wǎng)格作業(yè)執(zhí)行資源的可靠發(fā)現(xiàn)機(jī)制（reliable DHT-and Ontolo

3、gy-basedINFormation Service for grids，簡(jiǎn)稱DIS）。在DIS中，網(wǎng)格資源以虛擬組織為單位加入DHT 環(huán)，消除了層次結(jié)構(gòu)中的單一失效點(diǎn)和性能瓶頸；本體能夠以一種明確的、形式化的方式來(lái)表示領(lǐng)域知識(shí)，提供共享的、精確定義的術(shù)語(yǔ)源，并且有良好的概念層次結(jié)構(gòu)和對(duì)邏輯推理的支持。網(wǎng)格和語(yǔ)義本體技術(shù)的融合提高了資源發(fā)現(xiàn)的準(zhǔn)確性和完整性，保證了資源發(fā)現(xiàn)的可靠性。實(shí)驗(yàn)證明DIS 在動(dòng)態(tài)的網(wǎng)格環(huán)境下提高了資源發(fā)現(xiàn)的可靠

4、性。
　　 然后，通過(guò)對(duì)網(wǎng)格資源運(yùn)行特征的研究，提出了基于數(shù)學(xué)模型的網(wǎng)格資源故障模擬器，通過(guò)變化輸入?yún)?shù)，可得到不同的資源故障模擬日志，為網(wǎng)格系統(tǒng)設(shè)計(jì)、研究和性能測(cè)試提供了依據(jù)。提出了基于Markov 鏈的資源可用性預(yù)測(cè)模型，可以有效地預(yù)測(cè)資源節(jié)點(diǎn)在未來(lái)時(shí)間段內(nèi)的可用性，為下一步的作業(yè)調(diào)度提供可靠的資源信息?；谫Y源可用性預(yù)測(cè)，提出了可靠的網(wǎng)格工作流作業(yè)調(diào)度機(jī)制（Dependable Grid WorkflowSchedulin

5、g mechanism，簡(jiǎn)稱DGWS）。DGWS基于表調(diào)度和組調(diào)度，首先對(duì)DAG（Directed Acyclic Graph）子任務(wù)進(jìn)行優(yōu)先權(quán)排序和分組，然后以組為單位進(jìn)行基于可靠性代價(jià)的調(diào)度。在滿足作業(yè)QoS（Quality of Service）請(qǐng)求下，DGWS 將子任務(wù)調(diào)度到可靠的資源節(jié)點(diǎn)，提高了作業(yè)運(yùn)行的可靠性，同時(shí)也保證了資源負(fù)載的均衡性，避免所有任務(wù)都調(diào)度到少數(shù)可靠性高的資源節(jié)點(diǎn)。實(shí)驗(yàn)結(jié)果表明DGWS 在完成時(shí)間和成功率上

6、都有很大的性能改善，提高了網(wǎng)格工作流作業(yè)調(diào)度的可靠性。
　　 再次，針對(duì)網(wǎng)格可分割作業(yè)，提出了動(dòng)態(tài)網(wǎng)格環(huán)境下可靠的可分割作業(yè)調(diào)度機(jī)制(Reliable Divisible Job Scheduling mechanism，簡(jiǎn)稱RDJS)。RDJS 采用基于UMR（UniformMulti-Round）的可靠多路可分割作業(yè)調(diào)度算法。RDJS 動(dòng)態(tài)地監(jiān)控網(wǎng)格資源的變化（包括資源的加入和離開(kāi)、資源性能的波動(dòng)），當(dāng)資源發(fā)生變化時(shí)，通過(guò)性

7、能檢測(cè)與評(píng)估，及時(shí)地對(duì)剩余作業(yè)進(jìn)行再調(diào)度，提高作業(yè)調(diào)度的可靠性。實(shí)驗(yàn)結(jié)果證明RDJS可以很好地適應(yīng)網(wǎng)格環(huán)境的動(dòng)態(tài)性和異構(gòu)性，提高可分割作業(yè)調(diào)度的可靠性。
　　 最后，論文還從從容錯(cuò)角度出發(fā)，探討了如何采用有效的容錯(cuò)機(jī)制，來(lái)保證動(dòng)態(tài)網(wǎng)格環(huán)境下作業(yè)的可靠執(zhí)行。基于資源可用性預(yù)測(cè)和作業(yè)特點(diǎn)，提出了一種適用于網(wǎng)格環(huán)境下的優(yōu)化檢查點(diǎn)容錯(cuò)機(jī)制（Optimistic Checkpoint Mechanism for Grids，簡(jiǎn)稱OCM4G