HDFS的副本管理策略研究.pdf

1、云存儲作為云計算的存儲基礎正隨著大數(shù)據(jù)時代的到來發(fā)揮著越來越重要的作用。云存儲采用分布式架構(gòu)來應對海量數(shù)據(jù)的存儲。如何在可靠性、高性能等方面提高云存儲的服務能力一直都是研究關注的熱點。云存儲中數(shù)據(jù)的安全依賴于它的副本技術。副本技術是一種數(shù)據(jù)管理機制，它將存儲的數(shù)據(jù)復制多份并分布在多個節(jié)點上，以此來提高云存儲系統(tǒng)的可靠性、負載均衡性、數(shù)據(jù)訪問效率。本文以提高云存儲的服務能力為目標，主要圍繞分布式文件系統(tǒng) HDFS(Hadoop Distr

2、ibuted File System)的副本創(chuàng)建和放置策略進行研究。
　　本文根據(jù)存儲系統(tǒng)中文件訪問的特點提出并設計了一種依據(jù)熱度動態(tài)創(chuàng)建副本的算法。針對 HDFS原有副本創(chuàng)建方式的不足，基于文件訪問熱度的副本創(chuàng)建算法通過綜合考慮每個文件的訪問頻率以及訪問時間的差異，使整個 HDFS集群能夠動態(tài)的調(diào)整每個文件的副本數(shù)。對于訪問頻率高的文件可以依據(jù)其特點為其增加副本的個數(shù)。增加的多個副本能夠更好地分散訪問請求，使整個系統(tǒng)不會出現(xiàn)熱點

3、故障，從而有效降低了系統(tǒng)出現(xiàn)單點故障的概率。另外由于有多個副本，可以使來自用戶的訪問請求就近選擇副本數(shù)據(jù)，從而有效降低網(wǎng)絡延遲。而對于訪問頻率低的數(shù)據(jù)，該算法可以在不影響其可用性的情況下為其分配更少的副本，這樣就能有效的降低集群的負載。
　　本文提出一種基于 SVM(Support Vector Machine)的副本放置策略模型SRPM(SVM Replica Placement Model)。為了能夠應對超大規(guī)模數(shù)據(jù)的存儲以及

4、提高容錯性，Hadoop分布式文件系統(tǒng) HDFS采用一種機架感知的多副本放置策略。但 HDFS在副本放置過程中沒有綜合考慮各節(jié)點服務器的差異性，這會導致集群出現(xiàn)負載失衡。并且 HDFS在選擇遠程機架節(jié)點放置副本時采用隨機方式，而這有可能導致節(jié)點之間的網(wǎng)絡距離過長，使得在節(jié)點之間傳輸數(shù)據(jù)會消耗大量時間。針對以上問題，副本放置策略模型(SRPM)基于SVM通過綜合考慮節(jié)點負載情況，節(jié)點硬件性能，節(jié)點網(wǎng)絡距離來為副本找到一個最佳的放置節(jié)點。實