重復數(shù)據(jù)刪除關鍵技術優(yōu)化研究及SRC路由協(xié)議設計.pdf

1、數(shù)據(jù)量的爆炸式增長以及海量數(shù)據(jù)的大規(guī)模集中使得數(shù)據(jù)重復所導致的空間浪費問題越來越嚴重，這促使了重復數(shù)據(jù)消除技術的出現(xiàn)和發(fā)展。重復數(shù)據(jù)刪除概念很簡單，如果做一分鐘“電梯演講”:一本浩瀚的大不列顛百科叢書有4400萬個字符，共計3萬多英文單詞，所有的這一切都是由簡單的26個英文字母構成。海量數(shù)據(jù)高達EB級別，重復數(shù)據(jù)刪除技術是發(fā)現(xiàn)海量數(shù)據(jù)中的“字母”，并將數(shù)據(jù)以“字母”的形式構成，將重復的數(shù)據(jù)進行刪除以獲得更好的存儲空間性價比。
　　

2、 目前，重復數(shù)據(jù)刪除方面的研究工作已經(jīng)在消冗率提升、性能優(yōu)化以及分布式路由算法等方面取得了一系列有價值的成果，有效地推動了該技術的應用。本文從研究熱點與瓶頸出發(fā)，主要研究面向服務質(zhì)量的分布式重復數(shù)據(jù)刪除系統(tǒng)，面向服務質(zhì)量就需要支持服務質(zhì)量的可調(diào)節(jié)[1]，研究目標是建立一種基于多重策略設計及優(yōu)化的重復數(shù)據(jù)刪除技術體系。
　　 首先，本文重點研究了重復數(shù)據(jù)刪除的技術體系、關鍵技術和關鍵指標，以此建立重復數(shù)據(jù)刪除原型系統(tǒng)，其中消冗引

3、擎作為重復數(shù)據(jù)刪除技術的關鍵核心，包括路由算法、數(shù)據(jù)塊倉庫、并行流水線控制、網(wǎng)絡通訊規(guī)約。在此基礎上對關鍵技術的模型進行分析，分析內(nèi)容包括索引模型分析、數(shù)據(jù)模型分析、性能模型分析，并從理論角度進行驗證。其次，路由算法是分布式重復數(shù)據(jù)刪除存儲系統(tǒng)中的關鍵技術，但現(xiàn)有的路由算法無法滿足分布式系統(tǒng)在消冗效率、數(shù)據(jù)遷移及集群彈性上的要求，因此，本文設計了一種基于Chord的相似性路由檢測算法SRC(Similarity Routing Base

4、d on Chord)，并從理論角度完成算法的收斂性、一致性證明，進一步詳述了SRC路由算法的三個階段。最后，從三種關鍵技術的模型分析結果出發(fā)，提出具體技術策略改進、優(yōu)化方案，其中包括索引的分級優(yōu)化、基于數(shù)據(jù)價值的遷移優(yōu)化、基于讀請求重組的性能優(yōu)化。
　　 在系統(tǒng)實驗過程中，搭建了分布式集群環(huán)境，并選取測試數(shù)據(jù)集及實驗工具，完成讀寫并發(fā)響應時間測試、集群讀寫能力測試、路由算法負載均衡測試、節(jié)點容錯測試等。經(jīng)實驗驗證，對于分布式重