重復(fù)數(shù)據(jù)并行化研究.pdf

1、當(dāng)前，數(shù)據(jù)量的爆炸式增長使得對于存儲的需求越來越大，而同時被存儲的數(shù)據(jù)內(nèi)部存在大量的冗余(例如數(shù)據(jù)備份系統(tǒng)生成的數(shù)據(jù))，造成系統(tǒng)存儲空間的浪費。重復(fù)數(shù)據(jù)刪除技術(shù)的出現(xiàn)緩解了冗余數(shù)據(jù)問題，大大提高了存儲利用率，因而受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。目前最為火熱的虛擬化領(lǐng)域和云計算領(lǐng)域，對消除數(shù)據(jù)冗余同樣有著迫切的需求，因此重復(fù)數(shù)據(jù)刪除技術(shù)已成為目前存儲領(lǐng)域的一個研究熱點，其中對于重復(fù)數(shù)據(jù)刪除系統(tǒng)吞吐率的研究最受關(guān)注。以往的研究都是通過減少磁盤

2、訪問來提高系統(tǒng)吞吐率的，本文研究發(fā)現(xiàn)當(dāng)磁盤訪問這一系統(tǒng)系統(tǒng)性能瓶頸被消除之后，系統(tǒng)的性能還是會受到系統(tǒng)中計算密集型任務(wù)的影響。如何降低計算任務(wù)對重復(fù)數(shù)據(jù)刪除系統(tǒng)的影響是本文的研究重點。
　　 本文采取了一系列技術(shù)手段來對重復(fù)數(shù)據(jù)刪除系統(tǒng)進(jìn)行并行優(yōu)化。首先，系統(tǒng)引入了流水線技術(shù)來提高重復(fù)數(shù)據(jù)刪除過程中計算任務(wù)的并發(fā)度，提高系統(tǒng)的整體性能。本文給出了詳細(xì)的重復(fù)數(shù)據(jù)刪除流水線設(shè)計方案和流水線平衡性解決方案。其次，本文將協(xié)處理器引入重復(fù)

3、數(shù)據(jù)刪除系統(tǒng)來加速計算密集型任務(wù)，降低CPU的計算負(fù)載。本文引入PadLock加速重復(fù)數(shù)據(jù)刪除過程中的摘要計算和數(shù)據(jù)加密工作，引入GPU來降低Bloom filter計算和數(shù)據(jù)壓縮計算的執(zhí)行時間。上述兩個措施提高了重復(fù)數(shù)據(jù)刪除系統(tǒng)的并發(fā)度，降低了計算任務(wù)對系統(tǒng)性能的影響，很好地提升了系統(tǒng)的性能。
　　 本文設(shè)計了調(diào)整流水線執(zhí)行順序來提高重復(fù)數(shù)據(jù)刪除系統(tǒng)數(shù)據(jù)集適應(yīng)性的解決方案。通過調(diào)整流水線的執(zhí)行順序使得系統(tǒng)在不同的數(shù)據(jù)集上都能發(fā)