基于虛擬磁盤的分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著全球網(wǎng)絡(luò)化的熱潮，網(wǎng)絡(luò)技術(shù)針對(duì)個(gè)人應(yīng)用的也是水漲船高。傳統(tǒng)的存儲(chǔ)解決方案已經(jīng)不能應(yīng)對(duì)海量數(shù)據(jù)和眾多互聯(lián)網(wǎng)應(yīng)用的挑戰(zhàn)。大規(guī)模分布式存儲(chǔ)系統(tǒng)具有高可擴(kuò)展性、高可用性等優(yōu)點(diǎn)，已成為存儲(chǔ)領(lǐng)域的研究和發(fā)展方向，在各大互聯(lián)網(wǎng)公司和企業(yè)數(shù)據(jù)中心都有著廣泛的應(yīng)用。本文提出的基于虛擬磁盤的分布式存儲(chǔ)系統(tǒng)是結(jié)合當(dāng)前蓬勃發(fā)展的分布式存儲(chǔ)技術(shù)，針對(duì)海量數(shù)據(jù)以及客戶端特定的內(nèi)核態(tài)數(shù)據(jù)的存儲(chǔ)方式，設(shè)計(jì)并實(shí)現(xiàn)的新型分布式存儲(chǔ)系統(tǒng)。
　　本文提出的分布式存儲(chǔ)

2、架構(gòu)，不僅具備完善的控制調(diào)度機(jī)制、基于hash算法的定位和擴(kuò)展策略以及安全可靠的認(rèn)證服務(wù)，還為海量數(shù)據(jù)片的存儲(chǔ)專門設(shè)計(jì)了基于 Log-Structure的日志式數(shù)據(jù)存儲(chǔ)系統(tǒng)，該文件系統(tǒng)依托于三級(jí)存儲(chǔ)介質(zhì)即內(nèi)存、ssd和磁盤，能充分利用磁盤IO帶寬，提高讀寫效率。
　　基于 Log-Structure日志結(jié)構(gòu)的數(shù)據(jù)存儲(chǔ)系統(tǒng)（Log-Structure Storage System, L3S）部署在分布式存儲(chǔ)集群的每臺(tái)存儲(chǔ)節(jié)點(diǎn)上。該數(shù)

3、據(jù)存儲(chǔ)模型借鑒于LogFS，用戶數(shù)據(jù)被分割成固定大小的數(shù)據(jù)分片，這些分片以 Append的方式組織在Log-Structure結(jié)構(gòu)中并在該結(jié)構(gòu)填滿后一次性寫入到磁盤。這種批量寫入的策略能充分利用磁盤傳輸帶寬，減少磁盤碎片。隨著數(shù)據(jù)的改變，數(shù)據(jù)分片的元數(shù)據(jù)也在不斷更新。當(dāng)磁盤的可用存儲(chǔ)空間不足時(shí)，系統(tǒng)按照一定策略對(duì)無(wú)效數(shù)據(jù)進(jìn)行回收。同時(shí)，該數(shù)據(jù)存儲(chǔ)系統(tǒng)把所有元數(shù)據(jù)和部分?jǐn)?shù)據(jù)緩存放到SSD中，并在內(nèi)存中建立日志式數(shù)據(jù)結(jié)構(gòu)，作為持久化介質(zhì)和網(wǎng)