基于P2P框架的數(shù)據(jù)庫網(wǎng)格中若干關(guān)鍵技術(shù)的研究.pdf

1、隨著信息技術(shù)的發(fā)展,各行業(yè)的信息量呈爆炸性增長(zhǎng),其中包括眾多公共有效的數(shù)據(jù)庫資源。地理上廣泛分布的用戶都希望能夠按需透明地訪問和使用這些豐富的數(shù)據(jù)資源。如高能物理、生物計(jì)算等科學(xué)研究領(lǐng)域、電子商務(wù)領(lǐng)域和深層Web數(shù)據(jù)查詢領(lǐng)域等。數(shù)據(jù)網(wǎng)格是基于廣域網(wǎng)對(duì)海量、分布異構(gòu)的數(shù)據(jù)資源進(jìn)行管理、訪問和共享的系統(tǒng)。數(shù)據(jù)庫網(wǎng)格概念是隨著公有數(shù)據(jù)庫資源的豐富而提出的,是以數(shù)據(jù)庫為主要資源的一種數(shù)據(jù)網(wǎng)格系統(tǒng),可為上述應(yīng)用提供良好的支持。一方面,利用網(wǎng)格環(huán)境

2、的高效處理能力實(shí)現(xiàn)海量數(shù)據(jù)的有效整合,有效地利用已有眾多的數(shù)據(jù)庫資源;同時(shí)也可以利用數(shù)據(jù)庫管理系統(tǒng)高效的數(shù)據(jù)管理能力,為網(wǎng)格內(nèi)實(shí)現(xiàn)數(shù)據(jù)庫資源的有效管理、分布數(shù)據(jù)的優(yōu)化集成以及海量數(shù)據(jù)的分析處理等提供強(qiáng)有力的支持。為此,本文針對(duì)目前支持?jǐn)?shù)據(jù)庫網(wǎng)格的若干關(guān)鍵技術(shù)進(jìn)行研究,主要包括基于P2P模型的網(wǎng)格體系結(jié)構(gòu)、P2P支持框架、資源管理、數(shù)據(jù)動(dòng)態(tài)集成、資源副本管理、數(shù)據(jù)概要等進(jìn)行深入研究。
　　 目前有關(guān)數(shù)據(jù)庫網(wǎng)格的研究和開發(fā)還處于起步

3、階段。幾年來,最具有代表性的工作是隸屬于全球網(wǎng)格論壇(GGF:Global Grid Forum)的DAIS工作組(Database Access and Integration Services Working Group)制定的網(wǎng)格環(huán)境下訪問數(shù)據(jù)庫的協(xié)議和中間件,以及針對(duì)特定應(yīng)用數(shù)據(jù)庫進(jìn)行處理的網(wǎng)格系統(tǒng)。已有工作大多是針對(duì)特定領(lǐng)域,基于靜態(tài)環(huán)境構(gòu)建的數(shù)據(jù)庫網(wǎng)格系統(tǒng),很少有如何適應(yīng)網(wǎng)格環(huán)境內(nèi)數(shù)據(jù)庫資源的不確定性的相關(guān)討論,也沒有看到有

4、關(guān)完善的支持動(dòng)態(tài)數(shù)據(jù)集成的數(shù)據(jù)庫網(wǎng)格的報(bào)道。雖然網(wǎng)格環(huán)境下針對(duì)數(shù)據(jù)庫的處理技術(shù)同已有的多數(shù)據(jù)庫、并行數(shù)據(jù)庫以及分布式數(shù)據(jù)庫的處理技術(shù)有很多相容的方面,但由于網(wǎng)格環(huán)境內(nèi)數(shù)據(jù)資源的不確定性(動(dòng)態(tài)性),已有支持技術(shù)不足以支持構(gòu)建具有不確定性的數(shù)據(jù)庫網(wǎng)格環(huán)境。這些不確定性給數(shù)據(jù)庫網(wǎng)格中數(shù)據(jù)資源管理、資源查詢處理、數(shù)據(jù)集成、事務(wù)調(diào)度、海量數(shù)據(jù)分析等帶來了新的挑戰(zhàn)。
　　 本文基于OGSA-DAI(Open Grid Service Arc

5、hitecture-Database Access and Integration)規(guī)范,采用面向服務(wù)的思想,基于P2P模型,研究構(gòu)建一個(gè)面向多領(lǐng)域的、支持動(dòng)態(tài)數(shù)據(jù)集成的數(shù)據(jù)庫網(wǎng)格系統(tǒng)的若干關(guān)鍵技術(shù)。目的是在網(wǎng)格環(huán)境下,借用網(wǎng)格的高效處理能力,為分布、自治、異構(gòu)的數(shù)據(jù)庫資源的有效管理、動(dòng)態(tài)數(shù)據(jù)集成和分析處理等提供一個(gè)良好的使能環(huán)境,透明地為用戶按需提供服務(wù)。
　　 在支持?jǐn)?shù)據(jù)庫網(wǎng)格的框架結(jié)構(gòu)方面,針對(duì)集中的資源管理方法具有一定的

6、局限性,呈現(xiàn)出了Peer to Peer(P2P)體系結(jié)構(gòu)。P2P方式,可避免單點(diǎn)失敗,并具有可擴(kuò)展性好等特點(diǎn)。為支持多領(lǐng)域的資源管理,在Chord結(jié)構(gòu)基礎(chǔ)上,提出了一種適用于數(shù)據(jù)庫網(wǎng)格的P2P框架結(jié)構(gòu)-MultiChord,可有效支持多領(lǐng)域的資源管理。
　　 在模式集成和查詢處理方面,針對(duì)數(shù)據(jù)庫網(wǎng)格內(nèi)資源的自治、異構(gòu)特性,定義全局模式本體,并提出了一種基于本體的查詢處理策略,提高查詢效率,實(shí)現(xiàn)異構(gòu)查詢。將查詢處理分為全局查詢和

7、局部查詢處理兩部分。在全局查詢處理階段,基于本體實(shí)現(xiàn)語義轉(zhuǎn)換、查詢重寫和生成查詢執(zhí)行計(jì)劃。由局部查詢處理解決數(shù)據(jù)層沖突和查詢的語義擴(kuò)展。
　　 在執(zhí)行優(yōu)化方面,為有效地減少數(shù)據(jù)傳輸代價(jià),提出了一種基于關(guān)鍵字過濾的執(zhí)行優(yōu)化策略,并基于“能者多勞”的思想,動(dòng)態(tài)協(xié)調(diào)數(shù)據(jù)資源的傳輸量,有效地提高了數(shù)據(jù)網(wǎng)格內(nèi)的數(shù)據(jù)資源的獲取效率。
　　 在副本管理方面,針對(duì)P2P系統(tǒng)中節(jié)點(diǎn)可隨時(shí)加入和退出的動(dòng)態(tài)特性,為保證基于P2P模型的數(shù)據(jù)網(wǎng)格

8、系統(tǒng)的健壯性,提出了一種基于多根節(jié)點(diǎn)多點(diǎn)維護(hù)的副本管理策略,可有效地保證數(shù)據(jù)網(wǎng)格系統(tǒng)的健壯性,提高了資源的獲取效率。
　　 在數(shù)據(jù)概要方面,為有效地從海量數(shù)據(jù)的查詢結(jié)果信息中獲取最多的知識(shí),提出了一種基于聚類分析的分布式的數(shù)據(jù)概要策略。數(shù)據(jù)集成層保證合成的數(shù)據(jù)滿足用戶的模式需求,聚類分析層將概要數(shù)據(jù)展示給用戶,以便于直觀的數(shù)據(jù)分析。
　　 最后,在提出的關(guān)鍵技術(shù)基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)支持多領(lǐng)域的、面向數(shù)據(jù)庫資源動(dòng)態(tài)集成