重復數(shù)據(jù)刪除中智能預取算法設計與分析.pdf

1、在大數(shù)據(jù)存儲研究領域中，數(shù)據(jù)存儲與維護是一個具有挑戰(zhàn)性的研究課題。由于數(shù)據(jù)量爆炸式增長，導致數(shù)據(jù)中心的數(shù)據(jù)規(guī)模龐大且冗余度高，不僅耗費巨大的存儲空間和能耗，而且數(shù)據(jù)管理的復雜程度和存儲風險也急劇提高。為了減輕數(shù)據(jù)存儲負擔和提高數(shù)據(jù)存儲效率，重復數(shù)據(jù)刪除技術成為了近年來存儲技術研究的焦點之一。
　　在重復數(shù)據(jù)刪除技術中，主要存在兩方面的問題：1、指紋索引造成的磁盤瓶頸問題。2、數(shù)據(jù)碎片化嚴重降低恢復性能。因此，本文將利用強化學習和模

2、式匹配的方法分別解決這兩個問題。具體研究內(nèi)容如下：
　　1)提出了一種基于強化學習的指紋索引預取算法。首先，利用數(shù)據(jù)流的上下文信息，提取數(shù)據(jù)流分段的特征；然后，通過選擇適當?shù)姆答仚C制，建立特征和數(shù)據(jù)流分段的映射關聯(lián)關系，構建高效的索引結構；其后，用強化學習訓練數(shù)據(jù)段之間的相似性，用分數(shù)表示；對每一個新的數(shù)據(jù)段，用多臂老虎機模型對當前反饋最好的數(shù)據(jù)分段和未知的分段進行權衡比較，動態(tài)的選擇一個數(shù)據(jù)段進行預?。贿M一步研究優(yōu)化數(shù)據(jù)分段的緩

3、存機制，設計緩存算法。最后在4個數(shù)據(jù)集上驗證了本方法的有效性，實驗結果表明本文的方法大大減少了內(nèi)存開銷且實現(xiàn)了有效重刪。
　　2)提出了一種基于模式匹配優(yōu)化數(shù)據(jù)恢復的算法。首先研究了重刪之后數(shù)據(jù)存儲碎片化的分布特性，分析數(shù)據(jù)恢復過程的數(shù)據(jù)讀性能；然后利用模式匹配思想，將局部相關聯(lián)的數(shù)據(jù)塊識別出來，計算最長公共子序列形成連續(xù)模式的磁盤讀取操作，減少磁盤隨機讀次數(shù)；再利用雙循環(huán)緩沖設計最大化模式匹配算法，優(yōu)化調(diào)度合并讀操作，從而加速數(shù)