面向數(shù)據(jù)備份的高效數(shù)據(jù)去重系統(tǒng)構(gòu)建方法研究.pdf

1、在大數(shù)據(jù)時(shí)代，如何高效地存儲和管理海量數(shù)據(jù)成為存儲系統(tǒng)研究者和實(shí)踐者面臨的一大挑戰(zhàn)。大量的研究表明，冗余數(shù)據(jù)普遍存在于各類存儲系統(tǒng)中，例如備份存儲系統(tǒng)、桌面文件系統(tǒng)等。通過消除這些冗余數(shù)據(jù)，可以節(jié)約大量存儲成本。在這樣的背景下，數(shù)據(jù)去重作為一種高效的壓縮技術(shù)，逐漸應(yīng)用到各類存儲系統(tǒng)中。然而，構(gòu)建高效數(shù)據(jù)去重系統(tǒng)仍然存在大量的問題和挑戰(zhàn)，例如數(shù)據(jù)塊碎片、大規(guī)模指紋索引和存儲可靠性等。本文將首先在備份存儲系統(tǒng)中解決由于數(shù)據(jù)去重產(chǎn)生的數(shù)據(jù)塊碎

2、片問題，再研究數(shù)據(jù)去重對存儲可靠性的影響，最后系統(tǒng)地討論如何設(shè)計(jì)面向備份負(fù)載的高效數(shù)據(jù)去重系統(tǒng)。
　　數(shù)據(jù)去重引起的數(shù)據(jù)塊碎片會(huì)嚴(yán)重降低備份數(shù)據(jù)流的恢復(fù)性能，并且在用戶刪除備份后，降低垃圾回收的效率。通過對長期備份數(shù)據(jù)集的分析，發(fā)現(xiàn)數(shù)據(jù)塊碎片主要來自兩類容器：稀疏容器和亂序容器。稀疏容器直接放大讀操作，而亂序容器會(huì)在恢復(fù)緩存不足時(shí)降低恢復(fù)性能，因此需要不同的解決方案?，F(xiàn)有基于緩沖區(qū)的重寫算法無法準(zhǔn)確區(qū)分稀疏和亂序容器，導(dǎo)致存儲效率

3、和恢復(fù)性能低。提出了歷史感知的數(shù)據(jù)塊碎片處理方法，包括歷史感知重寫算法HAR、最優(yōu)恢復(fù)緩存算法OPT、緩存感知過濾器CAF和容器標(biāo)記算法CMA。歷史感知的數(shù)據(jù)塊碎片處理方法對稀疏容器執(zhí)行重寫，且通過恢復(fù)緩存減少亂序容器的影響，從而減少存儲開銷。HAR利用連續(xù)備份數(shù)據(jù)流的相似性精確地識別稀疏容器，是區(qū)分稀疏容器和亂序容器的關(guān)鍵。OPT在備份時(shí)紀(jì)錄下數(shù)據(jù)塊的訪問順序，用于實(shí)現(xiàn)Belady最優(yōu)緩存算法，減少亂序容器對恢復(fù)性能的影響。為了進(jìn)一步

4、減少對恢復(fù)緩存的需求，CAF通過仿真恢復(fù)緩存準(zhǔn)確識別和重寫少量的降低恢復(fù)性能的亂序容器。為了減少垃圾回收的時(shí)間和空間開銷，CMA利用HAR清理稀疏容器。在先進(jìn)先出的備份刪除策略下，CMA無需耗時(shí)的容器合并操作即可回收大量存儲空間。由于CMA直接追蹤容器的利用率，其開銷與容器數(shù)量成正比，而不是與數(shù)據(jù)塊數(shù)量成正比。使用4個(gè)長期備份數(shù)據(jù)集進(jìn)行測試，歷史感知的數(shù)據(jù)塊碎片處理方法比現(xiàn)有算法的存儲成本更低，且恢復(fù)性能更好。
　　數(shù)據(jù)去重對存儲

5、可靠性的影響長期未知。通過消除冗余數(shù)據(jù)，數(shù)據(jù)去重可以減少磁盤的數(shù)量，因此減少遇到磁盤錯(cuò)誤的概率；同時(shí)，數(shù)據(jù)去重會(huì)增加每次磁盤錯(cuò)誤的嚴(yán)重性，因?yàn)閬G失一個(gè)數(shù)據(jù)塊可能會(huì)損壞多個(gè)文件。提出了一套數(shù)據(jù)去重系統(tǒng)可靠性的量化分析方法，引入邏輯數(shù)據(jù)丟失量的概念擴(kuò)展了現(xiàn)有可靠性指標(biāo)NOMDL，使其可以衡量數(shù)據(jù)去重系統(tǒng)的可靠性。設(shè)計(jì)了針對數(shù)據(jù)去重系統(tǒng)的可靠性仿真器SIMD。SIMD利用企業(yè)公布的統(tǒng)計(jì)數(shù)據(jù)仿真扇區(qū)錯(cuò)誤和整盤故障，并產(chǎn)生磁盤陣列的各類數(shù)據(jù)丟失事

6、件。為了計(jì)算每次數(shù)據(jù)丟失事件的邏輯數(shù)據(jù)丟失量，SIMD根據(jù)真實(shí)文件系統(tǒng)鏡像生成塊級和文件級模型。通過對18個(gè)真實(shí)文件系統(tǒng)鏡像的分析和仿真實(shí)驗(yàn)，發(fā)現(xiàn)：由于文件內(nèi)部冗余的存在，數(shù)據(jù)去重可以顯著減少扇區(qū)錯(cuò)誤損壞的文件數(shù)量；但是，數(shù)據(jù)去重帶來的數(shù)據(jù)塊碎片增加了整盤故障的危害。為了提高存儲可靠性，提出了DCT副本技術(shù)。DCT將磁盤陣列的1％物理空間分配給高引用數(shù)據(jù)塊的副本，并在磁盤陣列重建時(shí)優(yōu)先修復(fù)這些副本。DCT的存儲開銷很小，可以將因整盤故障

7、丟失的數(shù)據(jù)塊和文件分別減少31.8%和25.8%。
　　構(gòu)建高效數(shù)據(jù)去重系統(tǒng)還需要考慮指紋索引等其它模塊對系統(tǒng)的影響。為了系統(tǒng)地理解和比較現(xiàn)有的設(shè)計(jì)方案，并提出新的更高效的設(shè)計(jì)方案，設(shè)計(jì)和實(shí)現(xiàn)了通用數(shù)據(jù)去重原型系統(tǒng)Destor。將數(shù)據(jù)去重系統(tǒng)理解為多維參數(shù)空間，每個(gè)維度代表了系統(tǒng)的一個(gè)子模塊或參數(shù)，包括分塊、指紋索引、重寫算法、恢復(fù)算法等。每個(gè)參數(shù)都有若干候選設(shè)計(jì)方案?，F(xiàn)有的設(shè)計(jì)方案和潛在的新方案被看作多維參數(shù)空間的點(diǎn)。Desto

8、r實(shí)現(xiàn)了該多維參數(shù)空間，涵蓋了多種主流的數(shù)據(jù)去重系統(tǒng)的設(shè)計(jì)方案。研究人員利用Destor可以比較現(xiàn)有設(shè)計(jì)方案，并探索參數(shù)空間得到潛在的新設(shè)計(jì)方案。為了發(fā)現(xiàn)更高效的潛在設(shè)計(jì)方案，用3個(gè)長期備份數(shù)據(jù)集探索了數(shù)據(jù)去重系統(tǒng)的參數(shù)空間，關(guān)注的性能指標(biāo)包括內(nèi)存開銷、存儲成本、備份性能和恢復(fù)性能。目標(biāo)方案必須能長期維持穩(wěn)定的高備份性能，并在其余三個(gè)指標(biāo)取得合理的權(quán)衡。得到了17個(gè)實(shí)驗(yàn)發(fā)現(xiàn)，并總結(jié)了以下滿足要求的設(shè)計(jì)方案：當(dāng)需求最低的存儲成本時(shí)，應(yīng)該采