面向PC環(huán)境的網(wǎng)絡體系與關鍵技術研究.pdf

1、隨著互聯(lián)網(wǎng)絡和計算機軟硬件技術不斷發(fā)展，各種計算資源(桌面計算機、工作站、超級計算機、集群等)、存儲資源和網(wǎng)絡資源的價格不斷下降，推動了網(wǎng)格計算技術的迅速發(fā)展。一直以來，網(wǎng)格領域的研究主要集中在如何利用高性能的計算資源(如Beowulf集群、工作站、超級計算機等)、科學儀器和巨量存儲資源，來構(gòu)建滿足在科學研究和工程應用領域大規(guī)模計算需要的各種網(wǎng)格。本文致力于研究如何通過隨處可以獲得的個人計算機PC來實現(xiàn)網(wǎng)格計算，它的意義在于可以充分利用

2、隨處可得的、大量閑置的PC，借助它們所蘊藏的巨大處理能力，以一種低成本的方式實現(xiàn)同樣高性能的計算環(huán)境。 PC網(wǎng)格不同于高性能的網(wǎng)格環(huán)境，它一般由分布在不同地方的大量PC節(jié)點根據(jù)特定任務目標自愿組織而成，具有高度的動態(tài)性和自主性。這給網(wǎng)格的系統(tǒng)架構(gòu)，資源管理和任務調(diào)度，以及任務監(jiān)控等帶來了挑戰(zhàn)。目前一些基于因特網(wǎng)的網(wǎng)格應用項目，如SETI@Home、FightAIDS@Home、GIMPS等都采取了簡單的方式將PC松散聚集起來解決

3、特定領域的計算問題。目前還沒有一種通用的面向PC環(huán)境的網(wǎng)格體系以及相關的平臺系統(tǒng)，用于構(gòu)建可滿足不同應用需要的PC網(wǎng)格。為了推動PC網(wǎng)格的廣泛應用，仍有許多技術問題需要解決。 為此，本論文首先為PC網(wǎng)格提出了一種三層結(jié)構(gòu)的網(wǎng)格體系PGrid，它由Agent控制層、通信基礎設施層和核心服務層構(gòu)成。其中，Agent控制層由駐留在各PC節(jié)點上的Agent構(gòu)成，它們提供一個虛擬的任務執(zhí)行和控制環(huán)境。通信基礎設施層屏蔽PC節(jié)點的位置、平臺

4、異構(gòu)性和底層通信細節(jié)，為上層應用同Agent的連接與動態(tài)交互提供簡單的接口。核心服務層為用戶提供網(wǎng)格服務，包括任務提交、分派、監(jiān)控和最后結(jié)果的匯總，不同的網(wǎng)格應用可以在這一層提供不同的服務。PGrid體系滿足了實現(xiàn)簡單、支持大規(guī)模部署的要求，同時考慮了可擴展性、健壯性和靈活性，與現(xiàn)在許多PC網(wǎng)格應用項目所采取的兩層體系相比具有先進性。圍繞該體系，我們對PC網(wǎng)格所涉及的若干關鍵技術進行了研究。 我們?yōu)橥ㄐ呕A設施層提出和實現(xiàn)了一種

5、服務請求代理中間件SRB。它提供了一種消息交換設施，即代理服務器集群，以支持PC網(wǎng)格環(huán)境中用戶與PC節(jié)點之間的消息交互。SRB不關心用戶服務請求的內(nèi)容，而只負責將其轉(zhuǎn)交到合適的服務實例。因此基于SRB，因而我們既可以按照服務的方式構(gòu)建網(wǎng)格，即PC節(jié)點提供任務邏輯，用戶提供數(shù)據(jù)；也可以實現(xiàn)按照任務的方式構(gòu)建網(wǎng)格，即用戶提供任務邏輯和數(shù)據(jù)，PC節(jié)點負責任務程序的執(zhí)行。SRB有效屏蔽了PC網(wǎng)格內(nèi)部各節(jié)點物理位置、平臺差異以及通信的細節(jié)，為PC

6、網(wǎng)格的實現(xiàn)帶來了靈活性。 在Agent控制層，我們提出了PC節(jié)點性能預測機制用于Agent在線學習并預測PC節(jié)點的運行規(guī)律，從而實現(xiàn)積極主動的任務調(diào)度。其中我們提出了一種混合在線預測模型，用于實現(xiàn)Agent在沒有充分掌握PC節(jié)點運行規(guī)律的情況下，仍然能夠較為轉(zhuǎn)確地預測PC節(jié)點短期內(nèi)的性能變化。而對于離線學習，我們提出了使用自回歸建模和神經(jīng)網(wǎng)絡相結(jié)合的方法，在Agent掌握了大量觀測數(shù)據(jù)樣本的基礎上，對PC節(jié)點的運行規(guī)律進行學習和

7、分析。 針對Agent控制層的資源協(xié)商與交易，我們提出了基于BDI多智能體系統(tǒng)的資源交易模型。該模型最重要的兩個活動實體為用戶智能主體和資源智能主體，用戶智能主體代表向PC網(wǎng)格提交任務的用戶，而資源智能主體代表了PC網(wǎng)格中的資源，它們之間根據(jù)各自的利益目標在一個市場環(huán)境中進行協(xié)商與合作，最終實現(xiàn)任務與資源的合理匹配，以及供求關系的平衡。我們給出了這兩種主體各自的信念(Belief)、期望(Desire)和意圖(Intention

8、)定義，并給出了一個具體場景描述基于這種BDI模型，兩種主體各自如何思考并采取動作。同時我們還對網(wǎng)格資源的商品模型進行了研究，提出了能夠適應市場供求關系變化而動態(tài)調(diào)整價格的機制。 最后我們?yōu)楹诵姆諏犹岢隽艘环N統(tǒng)一的面向PC網(wǎng)格環(huán)境的MonitorView網(wǎng)格監(jiān)控體系。這個體系由三部分組成：一個是統(tǒng)一消息框架，用于規(guī)范PC網(wǎng)格中在管理終端與Agent控制層之間交換的消息；另一個是面向應用的Manager-Agent管理協(xié)議，它是