基于P2P的分布式存儲(chǔ)系統(tǒng)可靠性及故障檢測(cè)研究.pdf

1、存儲(chǔ)已成為以數(shù)據(jù)為中心的信息時(shí)代核心之一。數(shù)據(jù)存儲(chǔ)已成為互聯(lián)網(wǎng)熱潮之后的又一次新的技術(shù)浪潮，它將網(wǎng)絡(luò)帶入了以數(shù)據(jù)為中心的時(shí)代?；赑2P的分布式存儲(chǔ)系統(tǒng)通過把閑散的存儲(chǔ)資源組織成一個(gè)邏輯上統(tǒng)一視圖，為用戶提供超大容量存儲(chǔ)服務(wù)。P2P網(wǎng)絡(luò)把多個(gè)結(jié)點(diǎn)以對(duì)等的方式組織起來，用戶使用存儲(chǔ)空間并通過該平臺(tái)自主尋找其他結(jié)點(diǎn)進(jìn)行數(shù)據(jù)備份和存儲(chǔ)空間交換。P2P存儲(chǔ)易于維護(hù)、可擴(kuò)展好、自配置功能強(qiáng)，它可以和網(wǎng)絡(luò)中大量加入的個(gè)人電腦和服務(wù)器中的存儲(chǔ)器組合成

2、存儲(chǔ)系統(tǒng)。因此，對(duì)P2P存儲(chǔ)系統(tǒng)及其性能的研究具有重要意義。
　　 可靠性是可信研究的基本內(nèi)涵之一，同時(shí)更是P2P存儲(chǔ)系統(tǒng)研究的關(guān)鍵。對(duì)于P2P存儲(chǔ)而言，可靠性多從系統(tǒng)的角度出發(fā)，可用性則更多的關(guān)注于數(shù)據(jù)本身，二者并不相同。躄如，一個(gè)暫時(shí)離線的結(jié)點(diǎn)，其上保存的數(shù)據(jù)在這一刻暫時(shí)不可訪問，降低了數(shù)據(jù)的可用性。但是數(shù)據(jù)卻并沒有丟失，因此系統(tǒng)的可靠性沒有發(fā)生變化，除非暫時(shí)離線的結(jié)點(diǎn)后來被證實(shí)永久離開。故障檢測(cè)是提高P2P存儲(chǔ)系統(tǒng)可靠性的

3、關(guān)鍵技術(shù)。現(xiàn)有故障檢測(cè)或是采用靜態(tài)故障檢測(cè)方式，這種方法缺乏靈活性，故障檢測(cè)的錯(cuò)誤率偏高，檢測(cè)的時(shí)間固定不變，易受設(shè)備或者網(wǎng)絡(luò)鏈接故障的影響；或是采用動(dòng)態(tài)方式，但需要對(duì)心跳信息和網(wǎng)絡(luò)負(fù)載做某種概率假設(shè)，并不一定和實(shí)際的網(wǎng)絡(luò)條件相符合。因此，設(shè)計(jì)一種符合P2P網(wǎng)絡(luò)特點(diǎn)和存儲(chǔ)系統(tǒng)要求的故障檢測(cè)算法對(duì)于構(gòu)建高可靠性的存儲(chǔ)系統(tǒng)尤為關(guān)鍵。
　　 主要貢獻(xiàn)包括以下幾個(gè)方面：
　　 （1）目前對(duì)存儲(chǔ)系統(tǒng)可靠性的研究多是基于目標(biāo)結(jié)點(diǎn)可用

4、性較高和同構(gòu)的系統(tǒng)，它一般圍繞數(shù)據(jù)可靠性度量要求和數(shù)據(jù)副本的數(shù)量關(guān)系建立模型，缺少對(duì)P2P這種結(jié)點(diǎn)高度動(dòng)態(tài)異構(gòu)系統(tǒng)的分析。針對(duì)該問題，通過使用故障樹和隨機(jī)Petri網(wǎng)對(duì)P2P存儲(chǔ)系統(tǒng)可靠性建模，分析比較冗余機(jī)制與可靠性的關(guān)系，從理論上指明研究系統(tǒng)可靠性的目的和基本原則。P2P存儲(chǔ)系統(tǒng)通過文件或者數(shù)據(jù)的冗余來提高系統(tǒng)可靠性,它與數(shù)據(jù)的冗余度測(cè)量、數(shù)據(jù)副本的一致性維護(hù)、結(jié)點(diǎn)組織的可控?cái)?shù)量（即一個(gè)P2P結(jié)點(diǎn)群組內(nèi)所能管理的最大結(jié)點(diǎn)個(gè)數(shù)）以及單

5、個(gè)結(jié)點(diǎn)的可用度均有關(guān)。為了提高數(shù)據(jù)查詢精確率和數(shù)據(jù)副本的分發(fā)效率，采用何種結(jié)構(gòu)的底層覆蓋網(wǎng)絡(luò)，系統(tǒng)中的結(jié)點(diǎn)如何組織和管理，這些都是可靠性研究需要解決的問題。模型分析方法可以在系統(tǒng)組建之初幫助優(yōu)化系統(tǒng)的設(shè)計(jì)。
　　 （2）在分布式環(huán)境中，基于不可靠故障檢測(cè)思想，針對(duì)目前故障檢測(cè)不足，實(shí)現(xiàn)了一種動(dòng)態(tài)故障檢測(cè)算法。P2P存儲(chǔ)系統(tǒng)具有分布式系統(tǒng)的基本特征， 廣域網(wǎng)環(huán)境的各個(gè)主機(jī)通過分布式文件系統(tǒng)組織在一起，為了相互之間保持聯(lián)系，必須發(fā)送

6、信息。這種聯(lián)系有時(shí)候并不可靠，比如說一個(gè)正常工作的結(jié)點(diǎn)卻被系統(tǒng)誤判為失效。P2P存儲(chǔ)系統(tǒng)結(jié)點(diǎn)具有高度動(dòng)態(tài)性，結(jié)點(diǎn)的暫時(shí)離線頻繁發(fā)生。如果這種情況下故障檢測(cè)器判斷結(jié)點(diǎn)故障，并采取故障切換措施的話，增加了系統(tǒng)不必要的損耗，檢測(cè)的錯(cuò)誤率大大提高。因此提出了一種自反饋的動(dòng)態(tài)故障檢測(cè)算法。實(shí)驗(yàn)表明，該算法和Chen的方法相比，在僅僅增加了少量計(jì)算的前提下減少了故障檢測(cè)誤判率和故障檢測(cè)時(shí)間。
　　 （3）設(shè)計(jì)了一種半結(jié)構(gòu)化的P2P存儲(chǔ)系統(tǒng)結(jié)

7、構(gòu)，通過檢測(cè)信息的響應(yīng)時(shí)間對(duì)結(jié)點(diǎn)分組，有效的減少了結(jié)點(diǎn)在物理網(wǎng)絡(luò)和覆蓋網(wǎng)絡(luò)中的位置不匹配的問題。半結(jié)構(gòu)化P2P覆蓋網(wǎng)絡(luò)結(jié)合了結(jié)構(gòu)化和非結(jié)構(gòu)化的特點(diǎn)，具有很好的擴(kuò)展性和可管理性。 所提出的半結(jié)構(gòu)化P2P存儲(chǔ)系統(tǒng)，通過檢測(cè)信息的響應(yīng)時(shí)間對(duì)結(jié)點(diǎn)分組，并結(jié)合結(jié)點(diǎn)的在線率和結(jié)點(diǎn)的響應(yīng)時(shí)間計(jì)算每個(gè)結(jié)點(diǎn)的信譽(yù)值，對(duì)組內(nèi)每個(gè)結(jié)點(diǎn)按照信譽(yù)值大小排隊(duì)，并以此為選擇超級(jí)結(jié)點(diǎn)的依據(jù)。仿真實(shí)驗(yàn)表明，設(shè)計(jì)的系統(tǒng)結(jié)構(gòu)降低每個(gè)結(jié)點(diǎn)加入和退出時(shí)發(fā)送的消息數(shù)量，減少了信息

8、檢索延遲，取得了較好用戶滿意度。
　　 （4）實(shí)現(xiàn)了一種超級(jí)結(jié)點(diǎn)選舉服務(wù)機(jī)制，主要包括四個(gè)基本部分：注冊(cè)中心、組成員維護(hù)模塊、故障檢測(cè)器和超級(jí)結(jié)點(diǎn)選舉模塊。超級(jí)結(jié)點(diǎn)作為半結(jié)構(gòu)化P2P存儲(chǔ)系統(tǒng)最重要的部分，一方面超級(jí)結(jié)點(diǎn)需要管理普通結(jié)點(diǎn)以及響應(yīng)用戶的數(shù)據(jù)查詢要求；另一方面超級(jí)結(jié)點(diǎn)又需要保持和外界的聯(lián)系，對(duì)全局的數(shù)據(jù)傳輸和路由起到支撐作用。注冊(cè)中心負(fù)責(zé)結(jié)點(diǎn)的加入和退出。組成員維護(hù)模塊負(fù)責(zé)結(jié)點(diǎn)的管理，信息表的維護(hù)，以及接收新加入結(jié)點(diǎn)的

9、注冊(cè)信息。故障檢測(cè)器負(fù)責(zé)監(jiān)測(cè)結(jié)點(diǎn)狀態(tài)和統(tǒng)計(jì)結(jié)點(diǎn)歷史信息。超級(jí)結(jié)點(diǎn)選舉模塊負(fù)責(zé)在超級(jí)結(jié)點(diǎn)失效時(shí)重新選擇一個(gè)新的結(jié)點(diǎn)作為超級(jí)結(jié)點(diǎn)。實(shí)驗(yàn)結(jié)果表明，該超級(jí)結(jié)點(diǎn)選舉算法平均服務(wù)恢復(fù)時(shí)間和平均錯(cuò)誤率均小于Toung等人實(shí)現(xiàn)的S1，而服務(wù)的可用性接近或略低于S3，達(dá)到了實(shí)驗(yàn)預(yù)想的效果，即在保持一定可用性的條件下，減少錯(cuò)誤率和服務(wù)恢復(fù)的時(shí)間，從而提高了P2P存儲(chǔ)系統(tǒng)的可靠性。實(shí)現(xiàn)的超級(jí)結(jié)點(diǎn)服務(wù)機(jī)制可以根據(jù)用戶需求靈活部署，為以后解決方案的實(shí)現(xiàn)提供了便利