基于HDFS的分布式文件系統(tǒng)數據冗余技術研究.pdf

1、隨著信息技術的發(fā)展,存儲系統(tǒng)占有舉足輕重的地位。在數據爆炸性增長的今天,本地的存儲很難滿足不斷增長的海量存儲的需要,而且個人移動計算和企業(yè)級計算對底層的存儲系統(tǒng)也提出了更高的要求,人們越來越多地使用分布式文件系統(tǒng),它可以帶來更高的存儲能力、可靠性、安全性和移動性。
　　 本文主要研究了分布式文件系統(tǒng)的數據冗余技術。傳統(tǒng)的分布式系統(tǒng)大多采用獨立磁盤冗余陣列(RAID)和復制技術進行數據的冗余,要達到一定的可靠性對存儲空間的要求較高

2、。后來又出現(xiàn)了編碼方法對數據進行編碼存放,這在提高了可靠性的同時又帶來了數據讀取和寫入時性能的較大損失。為了更好地平衡數據可靠性和讀取性能,本文提出了綜合采用復制和網絡編碼技術對數據存儲的方案。在開源的HDFS(Hadoop Distributed File System)項目基礎上,給出了文件分塊編解碼、編碼塊放置策略、文件讀取和寫入的完整流程和方案,之后又研究了如何進行負載均衡以及怎樣在大規(guī)模廉價低可靠機器組成的集群上處理機器的頻繁