備份系統(tǒng)中在線重復(fù)數(shù)據(jù)刪除優(yōu)化的研究.pdf

1、研究發(fā)現(xiàn),應(yīng)用系統(tǒng)所保存的數(shù)據(jù)中高達(dá)60％是冗余的,而且隨著時(shí)間的推移越來(lái)越多。為了提高存儲(chǔ)效率,節(jié)約存儲(chǔ)容量和成本,重復(fù)數(shù)據(jù)刪除技術(shù)應(yīng)運(yùn)而生,并已成為近年來(lái)存儲(chǔ)備份系統(tǒng)研究的熱門話題。傳統(tǒng)的在線重復(fù)數(shù)據(jù)刪除技術(shù)面臨著面對(duì)大數(shù)據(jù)量時(shí)的數(shù)據(jù)指紋索引查找瓶頸問題。目前相關(guān)的解決辦法基本都是圍繞優(yōu)化索引服務(wù)器端的效率來(lái)做研究。而實(shí)際備份應(yīng)用中一個(gè)普遍的現(xiàn)象是,備份用戶端的數(shù)據(jù)會(huì)隨著每天或每周一次的備份逐漸呈現(xiàn)出較強(qiáng)的局部相似性這一特點(diǎn)。利用這

2、一點(diǎn),研究在備份用戶端加入本地指紋索引查找功能來(lái)緩解索引服務(wù)器壓力和減少索引查找延遲,是避免服務(wù)器索引瓶頸的一個(gè)新思路。
　　本文提出了一種源端索引策略,該策略適用于在線、源端重刪的備份系統(tǒng),在原始單純的服務(wù)器指紋索引模式上,加入了源端指紋索引模式。該模式的工作方式是在備份客戶端保存其歷史備份的數(shù)據(jù)指紋表,當(dāng)選擇該模式進(jìn)行指紋判重時(shí)會(huì)優(yōu)先查找備份客戶端的數(shù)據(jù)指紋表,源端索引模式在用戶備份數(shù)據(jù)的局部相似性較高的情況下可以使較多備份數(shù)

3、據(jù)在源端就能夠進(jìn)行指紋判重。源端索引策略還利用布隆過濾器數(shù)據(jù)結(jié)構(gòu)和文件相似性檢測(cè)的相關(guān)原理,在在線重復(fù)數(shù)據(jù)刪除中加入了一個(gè)索引模式選擇模塊,能夠在用戶備份之前根據(jù)備份文件和本地索引文件的相似性來(lái)選擇索引模式,達(dá)到了充分利用備份客戶端備份數(shù)據(jù)特性來(lái)緩解服務(wù)器索引壓力,節(jié)省帶寬和提高備份效率的目的。
　　最后采用B-Cloud數(shù)據(jù)備份系統(tǒng)進(jìn)行性能測(cè)試,實(shí)驗(yàn)結(jié)果表明,源端索引模式在備份客戶端數(shù)據(jù)局部相似性提高的情況下,索引效率要高于傳統(tǒng)