一種高性能重復(fù)數(shù)據(jù)刪除系統(tǒng)設(shè)計及研究.pdf

1、隨著信息技術(shù)的不斷發(fā)展和提高，數(shù)據(jù)已經(jīng)成為決定企業(yè)生存和發(fā)展的關(guān)鍵因素之一。然而隨著數(shù)據(jù)信息量的不斷增加，海量數(shù)據(jù)的存儲和備份給企業(yè)的數(shù)據(jù)中心帶來的巨大的壓力。統(tǒng)計數(shù)據(jù)表明，在日益增長的海量數(shù)據(jù)之間存在著大量重復(fù)數(shù)據(jù)，為此，提出了重復(fù)數(shù)據(jù)刪除技術(shù)。重復(fù)數(shù)據(jù)刪除技術(shù)為抑制數(shù)據(jù)的過快增長，提高存儲空間利用率和降低管理成本提供了一種新思路。
　　 作為一門新興的數(shù)據(jù)壓縮技術(shù)，重復(fù)數(shù)據(jù)刪除還面臨著諸多問題和挑戰(zhàn)。本文在大規(guī)模備份系統(tǒng)中，

2、圍繞重復(fù)數(shù)據(jù)刪除系統(tǒng)的性能、可擴展性、吞吐率和數(shù)據(jù)碎片等問題展開研究，主要工作包括:
　　 針對已有的重復(fù)數(shù)據(jù)刪除系統(tǒng)存在的擴展性差的問題，提出了一種集中式管理，分布式存儲的重復(fù)數(shù)據(jù)刪除系統(tǒng)架構(gòu)。該架構(gòu)采用指紋空間的策略對數(shù)據(jù)塊進行索引，這種簡單的特性使得系統(tǒng)可以根據(jù)需要動態(tài)的擴展索引容量和存儲節(jié)點，并且支持數(shù)據(jù)塊索引和存儲的并行作業(yè)，使系統(tǒng)具有良好的性能和擴展性。
　　 提出了一種分層數(shù)據(jù)存儲的技術(shù)。該技術(shù)對容器內(nèi)的數(shù)

3、據(jù)進行分層，每層存儲的數(shù)據(jù)是有序的并且容量逐層增長，利用數(shù)據(jù)塊有序的性質(zhì)，對數(shù)據(jù)塊進行合并來清理系統(tǒng)運行過程中產(chǎn)生的數(shù)據(jù)碎片，同時將大量隨機磁盤讀寫轉(zhuǎn)換成順序讀寫取得了較高的處理性能。該技術(shù)不但充分提升了單個節(jié)點的吞吐率和存儲容量，而且可以很好的應(yīng)用到分布式環(huán)境中，具有良好的可擴展性。
　　 提出了一種分布式緩存和布隆過濾器。該方法為每個單獨的存儲容器分配一個緩存，同時每個容器內(nèi)部的文件都有自己的布隆過濾器，系統(tǒng)不再需要維護一個