HTDRDedu：一個分布式備份數(shù)據去重系統(tǒng)設計與實現(xiàn).pdf

1、數(shù)據備份作為保證數(shù)據安全的重要手段，無論是個人、組織或是企業(yè)都需要用其來保護自己的數(shù)據。近年來基于數(shù)據去重技術的傳統(tǒng)去重數(shù)據備份系統(tǒng)在減小存儲空間開銷方面成果顯著，但隨著大數(shù)據時代的來臨，全球數(shù)據量急速增加，這使得傳統(tǒng)的數(shù)據去重系統(tǒng)面臨了新的挑戰(zhàn)，一方面，大數(shù)據帶來的對存儲空間需求的不斷增大，從而導致了存儲費用也節(jié)節(jié)攀升;另一方面，海量數(shù)據的出現(xiàn)也對數(shù)據處理速度提出了更高要求，即數(shù)據處理的時間盡量短，這需要更大的數(shù)據吞吐量。本文針對這些

2、挑戰(zhàn)，提出了一個基于數(shù)據路由功能的分布式備份數(shù)據去重系統(tǒng)——HTDRDedu，包括文件管理和數(shù)據去重存儲兩大部分。
　　文件管理主要負責系統(tǒng)與用戶的交互和文件數(shù)據管理。系統(tǒng)為用戶提供文件操作的接口，包括文件的提交和取回。系統(tǒng)要對用戶提交的文件做相關操作，包括文件數(shù)據片分割、數(shù)據片指紋計算（哈希碼計算）、數(shù)據片組路由與傳輸和文件元數(shù)據管理等操作。為了提高數(shù)據處理效率，文件管理本身也設計了一部分數(shù)據去重功能。文件管理使用了Rabin

3、fingerprint、布隆過濾器等技術。
　　數(shù)據去重存儲負責對到達的待處理數(shù)據片組中的數(shù)據片做最終查詢，確保已有副本存在的數(shù)據片被去除。數(shù)據去重存儲同時具有預取數(shù)據片哈希碼的功能，數(shù)據片預取包括平均取樣和近鄰取樣兩種方法，前者用于預取數(shù)據給文件管理的數(shù)據路由功能，后者用于預取數(shù)據給文件管理的數(shù)據去重功能。最后數(shù)據去重存還負責用戶文件的恢復，用戶取得元數(shù)據文件并自行解析后，將每個數(shù)據片組從所存儲的去重存儲節(jié)點取回恢復文。