基于固態(tài)盤的分布式塊存儲(chǔ)系統(tǒng)緩存技術(shù)研究.pdf

1、在云計(jì)算和大數(shù)據(jù)的推動(dòng)之下，分布式塊存儲(chǔ)系統(tǒng)越來越重要，現(xiàn)有的分布式塊存儲(chǔ)系統(tǒng)有 Petal、Sheepdog、Parallax、BLAST、DHTbd等。針對(duì)分布式環(huán)境的特點(diǎn)，為提升分布式塊存儲(chǔ)系統(tǒng)的性能，以提供更好的服務(wù)，研究一種以固態(tài)盤為基礎(chǔ)的全局共享式動(dòng)態(tài)緩存(Global Shared Dynamic Cache，GSDC)技術(shù)，該技術(shù)主要采用固態(tài)盤作為存儲(chǔ)介質(zhì)來保存緩存數(shù)據(jù)。
　　GSDC技術(shù)采用多個(gè)緩存節(jié)點(diǎn)，每個(gè)緩存

2、節(jié)點(diǎn)都保存一定量的熱數(shù)據(jù)。所有緩存節(jié)點(diǎn)組成一個(gè)緩存層被原有系統(tǒng)的所有數(shù)據(jù)節(jié)點(diǎn)所共享。為高效管理眾多的緩存節(jié)點(diǎn)，采用一致性哈希方式將緩存節(jié)點(diǎn)分散成多個(gè)虛擬緩存節(jié)點(diǎn)，緩存數(shù)據(jù)以相同的方式通過計(jì)算之后，按指定規(guī)則存儲(chǔ)在不同的緩存節(jié)點(diǎn)上。
　　緩存數(shù)據(jù)被劃分到指定的緩存節(jié)點(diǎn)之后，采用一種動(dòng)態(tài)算法進(jìn)行管理。針對(duì)分布式塊存儲(chǔ)系統(tǒng)的特點(diǎn)，將緩存數(shù)據(jù)根據(jù)指定屬性分成多個(gè)不同的數(shù)據(jù)集，每個(gè)數(shù)據(jù)集由一個(gè)隊(duì)列進(jìn)行管理，該動(dòng)態(tài)算法基于每個(gè)數(shù)據(jù)集的實(shí)時(shí)訪問

3、情況，動(dòng)態(tài)的調(diào)整每個(gè)隊(duì)列的可用空間大小。為得到較好的性能表現(xiàn)，為每一個(gè)隊(duì)列設(shè)定一個(gè)淘汰上限和一個(gè)淘汰下限，二者也根據(jù)訪問情況動(dòng)態(tài)變化。緩存使用空間超過閾值時(shí)，優(yōu)先選擇淘汰負(fù)載較輕的數(shù)據(jù)集，但要同時(shí)考慮對(duì)應(yīng)隊(duì)列長度是否超過淘汰上限。
　　為加快數(shù)據(jù)淘汰時(shí)的速度，在系統(tǒng)相對(duì)空閑時(shí)將緩存中的臟數(shù)據(jù)同步到數(shù)據(jù)節(jié)點(diǎn)。同時(shí)，利用數(shù)據(jù)節(jié)點(diǎn)冗余空間，加入寫日志備份功能，保證系統(tǒng)原有的數(shù)據(jù)可靠性。
　　系統(tǒng)原型基于開源分布式塊存儲(chǔ)系統(tǒng)Shee