分布式存儲(chǔ)系統(tǒng)中的資源定位與數(shù)據(jù)存儲(chǔ)技術(shù)研究.pdf

1、在計(jì)算機(jī)網(wǎng)絡(luò)中存在著大量空閑的存儲(chǔ)資源，例如臺(tái)式機(jī)、服務(wù)器、工作站等，雖然這些節(jié)點(diǎn)的計(jì)算與存儲(chǔ)能力各異，但都可以向其他節(jié)點(diǎn)提供一定的共享存儲(chǔ)空間，并且這些節(jié)點(diǎn)也可能成為共享資源的訪問者。分布式存儲(chǔ)系統(tǒng)為了有效組織這些節(jié)點(diǎn)，并合理利用節(jié)點(diǎn)的資源，需要考慮節(jié)點(diǎn)異構(gòu)性與連接異構(gòu)性。
　　 節(jié)點(diǎn)異構(gòu)性是指節(jié)點(diǎn)的存儲(chǔ)能力各異，存儲(chǔ)空間多的節(jié)點(diǎn)應(yīng)當(dāng)適當(dāng)分擔(dān)更多的負(fù)載，并且數(shù)據(jù)存儲(chǔ)策略應(yīng)當(dāng)考慮到節(jié)點(diǎn)的負(fù)載狀況，并動(dòng)態(tài)判斷和選擇合適的節(jié)點(diǎn)存儲(chǔ)。

2、連接異構(gòu)性是指節(jié)點(diǎn)之間的連接耗費(fèi)不同，同一實(shí)驗(yàn)室中的兩個(gè)節(jié)點(diǎn)傳輸數(shù)據(jù)比起不同城市之間的兩個(gè)節(jié)點(diǎn)傳輸數(shù)據(jù)要更加快速，因此在存儲(chǔ)系統(tǒng)中對(duì)數(shù)據(jù)訪問時(shí)，應(yīng)盡量避免通過高耗費(fèi)的連接進(jìn)行，優(yōu)先在本地相近節(jié)點(diǎn)中訪問數(shù)據(jù)。
　　 本文針對(duì)上述問題，基于結(jié)構(gòu)化P2P系統(tǒng)中DHT技術(shù)所提供的資源定位功能，設(shè)計(jì)一個(gè)分布式存儲(chǔ)系統(tǒng)，向用戶提供面向文件的存儲(chǔ)與讀取服務(wù)。該存儲(chǔ)系統(tǒng)所基于的DHT協(xié)議Cycord，利用CCC圖的拓?fù)涮卣鲗?duì)節(jié)點(diǎn)進(jìn)行組織，首先將

3、節(jié)點(diǎn)組成本地圈再將本地圈連接在一起，以方便區(qū)分節(jié)點(diǎn)之間低耗費(fèi)的本地連接與高耗費(fèi)的遠(yuǎn)程連接。利用此特性，在DHT路由協(xié)議、關(guān)鍵字分配的動(dòng)態(tài)負(fù)載均衡、文件裂片存儲(chǔ)位置選擇的動(dòng)態(tài)負(fù)載均衡、文件裂片索引冗余存儲(chǔ)等方面都盡量減少通過遠(yuǎn)程連接的數(shù)據(jù)傳輸，提高網(wǎng)絡(luò)資源的利用效率。
　　 本文的主要貢獻(xiàn)有：
　　 (1)基于CCC圖和DHT協(xié)議，設(shè)計(jì)了一個(gè)新的資源定位協(xié)議Cycord。理論與實(shí)驗(yàn)數(shù)據(jù)的分析比較說明，在條件2L＜λ*(lo

4、g2m)滿足時(shí)，Cycord比Chord具有更低的查詢耗費(fèi)。進(jìn)一步對(duì)Cycord協(xié)議查詢產(chǎn)生的本地跳進(jìn)行優(yōu)化，以適當(dāng)擴(kuò)大路由表規(guī)模的代價(jià)，進(jìn)一步提升Cycord查詢效率。針對(duì)Cycord中關(guān)鍵字在節(jié)點(diǎn)間均衡分配的問題，提出了一種Cycord本地動(dòng)態(tài)均衡策略，達(dá)到關(guān)鍵字在節(jié)點(diǎn)間遷移的目的。
　　 (2)在Cycord協(xié)議所提供的資源定位功能的基礎(chǔ)上，設(shè)計(jì)了一個(gè)面向文件存儲(chǔ)與讀取的分布式存儲(chǔ)系統(tǒng)。該系統(tǒng)通過一定的負(fù)載均衡策略、數(shù)據(jù)冗