糾刪碼存儲(chǔ)集群歸檔、重構(gòu)、讀取優(yōu)化技術(shù)研究.pdf

1、出于存儲(chǔ)效率的考慮，糾刪碼存儲(chǔ)策略已成為副本存儲(chǔ)策略的重要補(bǔ)充。為節(jié)省存儲(chǔ)空間，存儲(chǔ)系統(tǒng)往往將低熱度副本數(shù)據(jù)按糾刪碼方式進(jìn)行歸檔存放；另外，相對(duì)于副本方式，糾刪碼方式存在修復(fù)時(shí)間長、訪問延遲高的不足。因此，快速歸檔、高效重構(gòu)和低訪問延遲構(gòu)成了糾刪碼存儲(chǔ)系統(tǒng)的重要設(shè)計(jì)目標(biāo)和挑戰(zhàn)。
　　以糾刪碼存儲(chǔ)集群為研究平臺(tái)，分別對(duì)歸檔、重構(gòu)和讀取三個(gè)方面提出優(yōu)化，具體包括一類流水線歸檔策略、一種針對(duì)多節(jié)點(diǎn)失效的交叉重構(gòu)策略和一種異構(gòu)性感知的讀取

2、策略：(1)為了加速歸檔，流水線歸檔策略利用鏈?zhǔn)讲季值臄?shù)據(jù)局部性生成多個(gè)校驗(yàn)塊。一方面，限制參與歸檔的節(jié)點(diǎn)個(gè)數(shù)；另一方面，最大限度使用節(jié)點(diǎn)的磁盤資源以提高并行性。(2)為了減小失效窗口，交叉重構(gòu)策略將多個(gè)條帶互斥地分配給不同的重構(gòu)節(jié)點(diǎn)，以并行的方式來恢復(fù)多個(gè)條帶的失效數(shù)據(jù)；為了減少交叉讀取對(duì)存活節(jié)點(diǎn)磁盤順序讀取操作的干擾，對(duì)存活塊采取預(yù)取操作。(3)為了給用戶請(qǐng)求提供穩(wěn)定的響應(yīng)，讀取策略監(jiān)測節(jié)點(diǎn)的速度和負(fù)載，根據(jù)統(tǒng)計(jì)信息估計(jì)響應(yīng)時(shí)間并有