基于分片聚合編碼機制的HDFS文件存儲研究.pdf

1、HDFS是Hadoop的旗艦級分布式文件系統(tǒng)，是云存儲的基礎(chǔ)架構(gòu)。HDFS采用了完全復(fù)制的存儲方案，該存儲方案下的數(shù)據(jù)存儲占用較多的存儲空間，數(shù)據(jù)塊-存儲節(jié)點映射信息占用較多的存儲內(nèi)存，對于惡意攻擊和數(shù)據(jù)惡意竊取幾乎沒有防御措施等。本文使用基于分片聚合編碼的存儲策略對HDFS數(shù)據(jù)存儲的冗余率問題、安全性問題、數(shù)據(jù)私密性問題進行解決。分片聚合編碼的存儲策略具有很強的研究價值和實用價值。
　　 本文首先分析了原HDFS存儲中存在的問

2、題，并依據(jù)這些問題提出了分片聚合編碼的存儲策略。分片聚合編碼操作分為分片、編碼、聚合三個不同的步驟進行：分片操作將文件分為大小相同的原數(shù)據(jù)片；編碼操作對一組原數(shù)據(jù)片采用STAR碼進行編碼處理，產(chǎn)生編碼數(shù)據(jù)片，這一組原數(shù)據(jù)片和編碼數(shù)據(jù)片稱為一個數(shù)據(jù)段；聚合操作將每個數(shù)據(jù)段中相同位置的數(shù)據(jù)片聚合組成一個存儲數(shù)據(jù)塊。然后，在分片聚合編碼策略的基礎(chǔ)上本文實現(xiàn)了基于分片聚合編碼的HDFS文件存儲。在文件存儲過程中，系統(tǒng)對文件中的一組數(shù)據(jù)采用分片聚

3、合編碼操作后，采用均勻分布的分布原則將存儲數(shù)據(jù)塊分布存儲在系統(tǒng)的存儲結(jié)點上。同時本文對分片聚合編碼操作中涉及到的數(shù)據(jù)片的大小及一組原數(shù)據(jù)片的數(shù)量進行了分析討論，選擇了適合系統(tǒng)的一組較優(yōu)的數(shù)據(jù)片大小及數(shù)量。最后實現(xiàn)了分片聚合解碼的數(shù)據(jù)塊動態(tài)恢復(fù)和數(shù)據(jù)塊持久性恢復(fù)。在文件讀取過程中，數(shù)據(jù)塊動態(tài)恢復(fù)通過對讀取失敗的數(shù)據(jù)塊所在組的其他可用數(shù)據(jù)塊采用分片、解碼和聚合操作，對讀取失敗的數(shù)據(jù)塊進行恢復(fù)。對于存儲在系統(tǒng)中的數(shù)據(jù)塊失效的情況，數(shù)據(jù)塊持久性