數(shù)據(jù)去重與垃圾數(shù)據(jù)刪除策略的設(shè)計與實現(xiàn).pdf

1、伴隨著我國下一代無線移動網(wǎng)絡(luò)的進(jìn)程,支撐各種各樣電信業(yè)務(wù)的移動控制網(wǎng)絡(luò)對底層的存儲系統(tǒng)的支持提出了更高的要求。如今日益增加的用戶數(shù)量和數(shù)據(jù)流量已經(jīng)讓傳統(tǒng)的存儲方案顯得捉襟見肘。隨著這種趨勢的到來,如何有效的利用存儲空間成為亟待解決的問題。
　　本文首先對國內(nèi)外主流的幾個分布式存儲系統(tǒng)進(jìn)行介紹和分析,并分析分布式系統(tǒng)需要面對的問題和解決方案。在此基礎(chǔ)上設(shè)計并實現(xiàn)了面向海量用戶和海量文件、基于數(shù)據(jù)塊級別數(shù)據(jù)去重的分布式文件系統(tǒng) CSt

2、ore,本文主要設(shè)計并實現(xiàn)了基于CStore系統(tǒng)的數(shù)據(jù)回收系統(tǒng)。
　　CStore系統(tǒng)是典型的分布式存儲系統(tǒng),它采用元數(shù)據(jù)和數(shù)據(jù)流分離的設(shè)計方案,將系統(tǒng)的元數(shù)據(jù)和文件數(shù)據(jù)分別存儲在不同的集群中,客戶端分別訪問這些數(shù)據(jù)關(guān)于它們各自的管理和優(yōu)化。系統(tǒng)的資源定位基于一種兩級的哈希映射方案,以桶為單位的負(fù)載均衡和副本策略提高系統(tǒng)的可靠性,同時使得系統(tǒng)具有很好的可擴(kuò)展性。
　　數(shù)據(jù)去重是CStore系統(tǒng)的主要特點之一,它采用在線的基于

3、數(shù)據(jù)塊級別的重復(fù)數(shù)據(jù)刪除策略,這就要求用戶在上傳文件的時候?qū)⒄麄€文件劃分成多個數(shù)據(jù)塊,然后分別上傳。這樣的策略可以節(jié)約大量的數(shù)據(jù)存儲空間,提高用戶體驗,但是同樣帶來了數(shù)據(jù)刪除的難題。在CStore數(shù)據(jù)去重的總體架構(gòu)的基礎(chǔ)上,設(shè)計并實現(xiàn)了能夠以在線或者離線方式執(zhí)行無效數(shù)據(jù)刪除的垃圾數(shù)據(jù)刪除系統(tǒng),可以高效并且準(zhǔn)確的判斷無效數(shù)據(jù),進(jìn)一步節(jié)省存儲資源。
　　垃圾數(shù)據(jù)回收系統(tǒng)用于清理系統(tǒng)中沒有任何文件引用的無效數(shù)據(jù)塊。該系統(tǒng)基于Bloom