廣域網(wǎng)重復(fù)數(shù)據(jù)消除方法的研究與實(shí)現(xiàn).pdf

1、隨著信息化程度的不斷提高，企業(yè)的分支機(jī)構(gòu)之間的數(shù)據(jù)通信需求急劇增長，尤其近年來，隨著數(shù)據(jù)量的增大，有限的廣域網(wǎng)帶寬已不能滿足企業(yè)級(jí)用戶的數(shù)據(jù)傳輸需求。針對(duì)WAN帶寬不足、時(shí)延過長等問題，探討了廣域網(wǎng)數(shù)據(jù)傳輸中，采用重復(fù)數(shù)據(jù)消除技術(shù)對(duì)傳輸數(shù)據(jù)進(jìn)行優(yōu)化，以減少帶寬占用，提高數(shù)據(jù)傳輸效率。
　　論文的主要任務(wù)是研究重復(fù)數(shù)據(jù)消除技術(shù)，并應(yīng)用于廣域網(wǎng)數(shù)據(jù)優(yōu)化中，設(shè)計(jì)并實(shí)現(xiàn)了廣域網(wǎng)重復(fù)數(shù)據(jù)消除方法。重點(diǎn)研究了數(shù)據(jù)分塊算法，在基于內(nèi)容的變長分塊

2、算法（CDC,Content Defined Chunking）的基礎(chǔ)上結(jié)合滑動(dòng)塊檢測技術(shù)，運(yùn)用并行過濾的思想篩選出數(shù)據(jù)集中的高度冗余數(shù)據(jù)進(jìn)行二次分塊，從而，在相同的檢測粒度下，實(shí)現(xiàn)更高的重復(fù)數(shù)據(jù)縮減率。針對(duì)處理數(shù)據(jù)量增大后，元數(shù)據(jù)字典無法全部駐留在內(nèi)存中的問題，設(shè)計(jì)內(nèi)存數(shù)據(jù)字典和磁盤數(shù)據(jù)字典兩級(jí)存儲(chǔ)結(jié)構(gòu)，并采用多級(jí)檢索機(jī)制提高檢索效率。最后，設(shè)計(jì)并實(shí)現(xiàn)了數(shù)據(jù)字典的同步機(jī)制和重復(fù)數(shù)據(jù)編解碼方法。實(shí)驗(yàn)結(jié)果表明，對(duì)于存在潛在關(guān)聯(lián)的數(shù)據(jù)集，廣