重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著信息數(shù)字化的快速發(fā)展與生產(chǎn)力的突飛猛進(jìn)，當(dāng)今企業(yè)對(duì)信息的存儲(chǔ)需求也在飛速增長(zhǎng)。盡管存儲(chǔ)設(shè)備的銷售價(jià)格在不斷地下降，但遠(yuǎn)遠(yuǎn)趕不上企業(yè)內(nèi)部產(chǎn)生和需要保存數(shù)據(jù)的攀升速度。重復(fù)數(shù)據(jù)刪除技術(shù)能夠刪除重復(fù)的數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的唯一實(shí)例存儲(chǔ)，將有望解決該問(wèn)題。該技術(shù)一般應(yīng)用在備份、歸檔等集中式數(shù)據(jù)存儲(chǔ)的系統(tǒng)中，能有效地節(jié)省存儲(chǔ)空間和網(wǎng)絡(luò)的傳輸帶寬。
　　 目前，對(duì)文件或數(shù)據(jù)流中重復(fù)數(shù)據(jù)的查找效率始終是重復(fù)數(shù)據(jù)刪除技術(shù)應(yīng)用的瓶頸，為此重點(diǎn)對(duì)提高

2、重復(fù)數(shù)據(jù)的查找效率進(jìn)行了研究，并將重復(fù)數(shù)據(jù)刪除技術(shù)融合到數(shù)據(jù)備份領(lǐng)域?qū)崿F(xiàn)了高效的、穩(wěn)定的數(shù)據(jù)容災(zāi)備份系統(tǒng)，它可以為數(shù)據(jù)提供安全的存儲(chǔ)服務(wù)。該系統(tǒng)運(yùn)用了多項(xiàng)技術(shù)來(lái)提高數(shù)據(jù)的備份和恢復(fù)性能：元數(shù)據(jù)的多級(jí)查詢機(jī)制、數(shù)據(jù)緩存機(jī)制和多線程技術(shù)。元數(shù)據(jù)的多級(jí)查詢機(jī)制通過(guò)使用全局Bloom Filter、二級(jí)索引緩存和磁盤(pán)哈希表來(lái)提高對(duì)重復(fù)數(shù)據(jù)的查找速度；數(shù)據(jù)緩存機(jī)制則通過(guò)對(duì)數(shù)據(jù)塊的內(nèi)存緩沖，可以避免對(duì)磁盤(pán)頻繁的I/O操作；多線程技術(shù)可以提高系統(tǒng)的并