重復(fù)數(shù)據(jù)刪除技術(shù)研究.pdf

1、云存儲正在因為它的可擴展性、方便性和低成本等諸多優(yōu)點而變得越來越流行。它通過租用基本設(shè)施來提供對于文件的服務(wù)，包括允許用戶在服務(wù)器上存儲文件，同步位于服務(wù)器和用戶不同設(shè)備上的文件等。在這種場景下，提供服務(wù)的物理存儲設(shè)備往往是高度集中的。因為集中式存儲通常存在大量的重復(fù)數(shù)據(jù)，重復(fù)數(shù)據(jù)刪除技術(shù)，或者叫做重復(fù)數(shù)據(jù)檢測技術(shù)，正在變得愈發(fā)的重要。
　　 傳統(tǒng)的重復(fù)數(shù)據(jù)刪除技術(shù)只是強調(diào)他們在降低存儲空間方面性能，然而作為一個遠(yuǎn)程的存儲系統(tǒng)，

2、網(wǎng)絡(luò)的開銷也不應(yīng)該被忽略，特別是當(dāng)系統(tǒng)是跨越廣域網(wǎng)來部署的。我們提出了一種新的重復(fù)數(shù)據(jù)刪除算法，它不但修改了對數(shù)據(jù)索引的方法，并且擁有新的重復(fù)數(shù)據(jù)塊匹配的方法。為了檢測新算法的效果，我們實現(xiàn)了一個叫做DDSN的網(wǎng)絡(luò)文件系統(tǒng)的原型。我們的新方法在節(jié)省存儲空間上可以達到滑動分塊方法，也就是目前在節(jié)省存儲空間上最優(yōu)的方法，所能達到的效果。與此同時，我們的方法克服了滑動分塊方法需要通過網(wǎng)絡(luò)傳輸整個文件的缺點，DDSN可以對于重復(fù)數(shù)據(jù)節(jié)省大量的網(wǎng)

3、絡(luò)帶寬。另外，針對固定長度的數(shù)據(jù)塊的組織，我們提出了一種新的文件結(jié)構(gòu)。
　　 除此之外，當(dāng)有文件在一處被更新的時候，最簡單的文件同步方法需要把整個被修改的文件傳輸?shù)狡渌形恢茫ǚ?wù)器、用戶的其他設(shè)備）來替換老版本的文件，這會導(dǎo)致網(wǎng)絡(luò)帶寬的大量浪費和更新文件時極大的延遲。我們提出了一種名為HadoopRsync的算法來增量地更新文件而不是傳輸整個文件。新算法是基于被設(shè)計用來在兩個機器之間同步文件的Rsync算法，但是不同的是，新

4、算法適用到在云存儲環(huán)境下。在這種環(huán)境下，文件是被分塊地存儲在云中不同的節(jié)點的情況下，因此我們提出了HadoopRsync Upload和HadoopRsync Download這一對算法來分別負(fù)責(zé)用戶的設(shè)備和服務(wù)器間雙向的同步文件。HadoopRsync只傳輸新版本文件與老版本文件之間的區(qū)別，而不是傳輸整個文件。我們的算法是運行在開源的分布式處理大數(shù)據(jù)平臺Hadoop上的，新方法利用了Hadoop所提供并行計算模型MapReduce的能