備份系統(tǒng)中全局?jǐn)?shù)據(jù)去重技術(shù)的研究.pdf

1、隨著數(shù)字信息的爆炸式增長,備份系統(tǒng)中的重復(fù)數(shù)據(jù)越來越多,造成了存儲資源和網(wǎng)絡(luò)帶寬的極大浪費,同時增加了處理重復(fù)數(shù)據(jù)的開銷。數(shù)據(jù)去重技術(shù)旨在減少數(shù)據(jù)所占的存儲空間和通過網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量,已廣泛應(yīng)用于備份系統(tǒng)中。同時,數(shù)據(jù)去重作為存儲系統(tǒng)中的一種新興技術(shù),還有很多難題亟待解決。
　　在基于用戶的局部數(shù)據(jù)去重備份系統(tǒng)中,只能刪除用戶內(nèi)的重復(fù)數(shù)據(jù),不能刪除用戶與用戶之間的重復(fù)數(shù)據(jù),極大的浪費了存儲空間和網(wǎng)絡(luò)帶寬資源。同時系統(tǒng)采用數(shù)據(jù)庫存儲

2、指紋導(dǎo)致指紋檢索效率十分低下。為解決局部數(shù)據(jù)去重帶來的性能問題,采用了全局?jǐn)?shù)據(jù)去重技術(shù),旨在刪除用戶與用戶之間的重復(fù)數(shù)據(jù),提高系統(tǒng)的數(shù)據(jù)去重率,進(jìn)一步節(jié)約存儲空間和網(wǎng)絡(luò)帶寬資源。為提高指紋檢索效率,提出了基于最小哈希及Jaccard相似度的二級指紋索引結(jié)構(gòu),替換了數(shù)據(jù)庫存指紋的方案,使每個文件在查找指紋時只需訪問一次磁盤;為保證全局?jǐn)?shù)據(jù)在用戶之間的共享,設(shè)計和實現(xiàn)了一套多用戶并發(fā)機(jī)制來保證數(shù)據(jù)的一致性和正確性。
　　測試結(jié)果表明,