集群重刪系統(tǒng)數(shù)據(jù)路由機(jī)制的優(yōu)化研究.pdf

1、大數(shù)據(jù)時代，全球數(shù)據(jù)量高速增長，給個人、企業(yè)和數(shù)據(jù)中心數(shù)據(jù)的管理和保護(hù)帶來重大挑戰(zhàn)。重復(fù)數(shù)據(jù)刪除技術(shù)作為一種高效的數(shù)據(jù)縮減技術(shù)被廣泛應(yīng)用于數(shù)據(jù)備份領(lǐng)域，隨著系統(tǒng)規(guī)模的擴(kuò)大和數(shù)據(jù)量的不斷增長，為滿足備份系統(tǒng)在吞吐量和可擴(kuò)展性上的需求，出現(xiàn)了集群重復(fù)數(shù)據(jù)刪除系統(tǒng)。然而，集群重復(fù)數(shù)據(jù)刪除系統(tǒng)不僅面對著傳統(tǒng)重復(fù)數(shù)據(jù)刪除技術(shù)所面臨的指紋索引磁盤瓶頸和個人設(shè)備計算資源不足的難題，還面臨因只對集群節(jié)點內(nèi)部數(shù)據(jù)進(jìn)行獨(dú)立消重而導(dǎo)致的集群重復(fù)數(shù)據(jù)刪除服務(wù)器

2、節(jié)點信息孤島問題。針對以上難題和挑戰(zhàn)，本文在全面了解當(dāng)前重復(fù)數(shù)據(jù)刪除技術(shù)發(fā)展的基礎(chǔ)上，針對特定的應(yīng)用環(huán)境，提出了兩種不同的集群重復(fù)數(shù)據(jù)刪除系統(tǒng)路由優(yōu)化策略，主要工作和創(chuàng)新如下：
　　首先，設(shè)計實現(xiàn)了一個集群重復(fù)數(shù)據(jù)刪除原型系統(tǒng)，包括備份終端、元數(shù)據(jù)管理服務(wù)器和多個集群重復(fù)數(shù)據(jù)刪除服務(wù)器節(jié)點。備份終端將文件按照固定大小分塊方式進(jìn)行分塊，然后使用強(qiáng)抗沖突哈希算法計算數(shù)據(jù)塊指紋，再將多個數(shù)據(jù)塊聚合成超塊進(jìn)行路由以減小通信開銷；元數(shù)據(jù)管理

3、服務(wù)器進(jìn)行文件備份的會話管理并存儲備份文件的元數(shù)據(jù)信息；集群重復(fù)數(shù)據(jù)刪除服務(wù)器節(jié)點負(fù)責(zé)指紋匹配和數(shù)據(jù)塊的存儲。
　　其次，針對數(shù)據(jù)中心數(shù)據(jù)備份過程中與集群重復(fù)數(shù)據(jù)刪除系統(tǒng)節(jié)點的通信開銷進(jìn)行優(yōu)化，提出基于應(yīng)用感知的路由機(jī)制AR-Dedupe。通過添加路由服務(wù)器節(jié)點保存歷史超塊路由節(jié)點信息和存儲節(jié)點的負(fù)載狀況，來指導(dǎo)新的超塊路由，有效減少節(jié)點間通信開銷的同時獲得了較高的全局?jǐn)?shù)據(jù)縮減率，并且能夠很好的保持系統(tǒng)節(jié)點的負(fù)載均衡。路由服務(wù)器節(jié)