對等計算系統(tǒng)中的相似查詢處理研究.pdf

1、對等計算(peer-to-peercomputing，簡稱P2P)已經(jīng)成為了計算機科學(xué)領(lǐng)域的研究熱點。在對等計算系統(tǒng)中，每個節(jié)點都是完全自治的，擁有相同的責(zé)任，扮演著雙重角色一既可以是客戶機(服務(wù)消費者)，也可以是服務(wù)器(服務(wù)提供者)，而且任意一個節(jié)點都可以隨意地加入或退出系統(tǒng)。因此，對等計算系統(tǒng)是一個完全動態(tài)的、沒有任何集中控制的分布式系統(tǒng)。對等計算模型具有許多潛在的優(yōu)勢，如擴展性強、魯棒性好、資源可用性高等特點，特別適用于具有地理分

2、布、資源異構(gòu)、擴展性要求高、局部自治等特征的分布式系統(tǒng)。因而，對等計算模型推動了“以主機為中心(host-centric)”的傳統(tǒng)互聯(lián)網(wǎng)向“以數(shù)據(jù)為中心(data-centric)”的未來互聯(lián)網(wǎng)的發(fā)展，被學(xué)術(shù)界和工業(yè)界公認(rèn)為是重構(gòu)基于互聯(lián)網(wǎng)應(yīng)用的關(guān)鍵技術(shù)之一。 雖然，學(xué)術(shù)界已經(jīng)取得了不少對等計算環(huán)境下的查詢處理研究成果，但仍然存在著許多有待研究與解決問題。本文研究了對等計算環(huán)境下的相似查詢問題，探索了對等計算環(huán)境下的基于路由索引

3、、數(shù)據(jù)空間劃分、協(xié)作緩存和概率模型的相似查詢處理技術(shù)，旨在為現(xiàn)有的對等計算系統(tǒng)提供基于語義或者相似度的查詢處理功能。本文的主要貢獻(xiàn)有如下四個方面： 1．將多維數(shù)據(jù)空間中的相似查詢處理(similaritysear出)技術(shù)引入到無結(jié)構(gòu)(unstructured)對等計算系統(tǒng)中，利用近似向量(vectorapproximati0n)技術(shù)和路由索引(routingind似)技術(shù)，為系統(tǒng)中的每個節(jié)點建立基于近似向量的路由索引，使得用戶查

4、詢能夠準(zhǔn)確地路由到并且有效地查詢擁有相關(guān)數(shù)據(jù)資源的節(jié)點，實現(xiàn)無結(jié)構(gòu)對等計算系統(tǒng)中的相似查詢處理。另外，利用無結(jié)構(gòu)對等計算系統(tǒng)中的網(wǎng)絡(luò)自配置(self-reconfiguration)特性，通過動態(tài)調(diào)整節(jié)點在網(wǎng)絡(luò)中的位置，使得與相似查詢相關(guān)的節(jié)點保持位置鄰近，進(jìn)一步提高了系統(tǒng)的查詢處理性能。仿真實驗表明，該方法對無結(jié)構(gòu)對等計算環(huán)境下的相似查詢處理非常有效。 2．將數(shù)據(jù)空間劃分(spacepartitioning)技術(shù)引入到結(jié)構(gòu)化(

5、structured)對等計算系統(tǒng)中，通過選定的代表點(referencepoint)，將整個數(shù)據(jù)空間劃分成沒有任何重疊(overlap)的數(shù)據(jù)子空間。通過將代表點線性化，在節(jié)點、代表點和數(shù)據(jù)子空間三者之間建立起一一映射關(guān)系。利用傳統(tǒng)的高維索引技術(shù)和基于分布式散列表(distributedhashtable，或DHT)的資源查找和定位機制，使得高維數(shù)據(jù)空間中的相似查詢處理在結(jié)構(gòu)化對等計算系統(tǒng)上得以實現(xiàn)。此外，通過維護(hù)數(shù)據(jù)子空問之間的物理

6、鄰近(physicalproximity)特征，降低了系統(tǒng)的查詢路由代價；通過調(diào)整數(shù)據(jù)子空間的粒度，達(dá)到均衡系統(tǒng)負(fù)載(10甜balance)的目的。仿真實驗表明，該方法能夠有效地適應(yīng)數(shù)據(jù)維度的增長和系統(tǒng)規(guī)模的擴展。 3．針對關(guān)系查詢處理，探索了基于協(xié)商(negotiation)的協(xié)作緩存技術(shù)(collaborativecaching)，提出了一種基于網(wǎng)絡(luò)傳輸代價的查詢代價模型，用于評價不同查詢計劃的執(zhí)行代價。在對等計算環(huán)境下，一

7、個查詢計劃的執(zhí)行代價可以被分解為子查詢計劃的執(zhí)行代價。結(jié)合代價模型，利用協(xié)調(diào)重疊網(wǎng)絡(luò)(collaborativeoverlapnetwork)，通過查詢請求節(jié)點(requester)和協(xié)調(diào)節(jié)點(coordinator)之間的協(xié)商，確定協(xié)作緩存的邏輯查詢表達(dá)式和參與數(shù)據(jù)緩存的查詢請求節(jié)點，實現(xiàn)了對等計算環(huán)境下的基于語義的查詢處理。仿真和真實實驗表明，該方法能夠確定較優(yōu)的數(shù)據(jù)緩存放置策略，降低系統(tǒng)的查詢處理開銷。尤其是在單個節(jié)點僅能貢獻(xiàn)有限

8、的存儲資源的情況下，該方法的優(yōu)勢更為明顯。 4．針對基于主題(topic)的對等計算文件共享系統(tǒng)，研究了一種基于概率的相似查詢處理技術(shù)。該技術(shù)的核心思想是利用概率模型(probabilisticmodeD描述共享主題之間的語義重疊度(overlap)以及節(jié)點對主題的信息覆蓋度(coverage)，為節(jié)點建立起概率路由信息。相似查詢處理算法以每個節(jié)點已有的概率信息為基礎(chǔ)，依據(jù)推導(dǎo)出的鄰居節(jié)點對查詢主題的覆蓋度，決定主題查詢的搜索路

9、徑。此外，利用查詢反饋的信息，通過更新路由查詢的節(jié)點上的概率信息，使得這些節(jié)點能夠為將來的主題查詢選擇更準(zhǔn)確的查詢搜索路徑。模擬實驗表明，該方法能夠利用基于自反饋的概率更新算法，逐步改善查詢處理的效果，提高查詢處理的效率。 總之，本文詳細(xì)地介紹了四種相似查詢處理方法的算法設(shè)計與實現(xiàn)，以及測試結(jié)果。這些方法是對現(xiàn)有對等計算環(huán)境下的查詢處理技術(shù)的有益補充和改進(jìn)。本文的研究工作建立在對當(dāng)前已有技術(shù)的詳盡分析與理論研究，以及大量的實驗測