基于HDFS的多Namenode元數(shù)據(jù)管理研究.pdf

1、這是一個數(shù)據(jù)高速擴張的時代。根據(jù)技術(shù)研究機構(gòu) IDC的預(yù)計，大量新數(shù)據(jù)無時不刻不在涌現(xiàn)，它們以每年50％的速度在增長，或者說每兩年就要翻一番多。并不僅僅是數(shù)據(jù)的洪流越來越大，而且全新的支流也會越來越多。并且數(shù)據(jù)呈現(xiàn)出大量、多樣、快速和高價值的特點。數(shù)據(jù)沒有辦法在可容忍的時間內(nèi)使用常規(guī)的軟件方法完成存儲、管理和任務(wù)處理。如何應(yīng)對數(shù)據(jù)的挑戰(zhàn)成為一個亟待解決的難題。越來越多的高校、科研機構(gòu)、互聯(lián)網(wǎng)公司投入到大規(guī)模數(shù)據(jù)存儲和計算模型及工具的研究

2、工作當中。而作為一個適用于解決大規(guī)模數(shù)據(jù)的分布式存儲和計算基礎(chǔ)架構(gòu)的技術(shù)集合，Apache軟件基金會的 Hadoop項目自誕生以來就備受矚目，成為了業(yè)界研究和應(yīng)用的熱點，并被譽為“打開大數(shù)據(jù)之門的金鑰匙”。
　　本文的主要研究對象是Hadoop項目中的分布式文件系統(tǒng)HDFS。HDFS作為Hadoop中的基礎(chǔ)模塊，為諸如MapReduce、HBase等其他上層工具提供基礎(chǔ)數(shù)據(jù)的支撐。而HDFS在應(yīng)用到大規(guī)模分布式項目時，也暴露出了一

3、些架構(gòu)上的缺陷。HDFS中單個Namenode的架構(gòu)會影響到系統(tǒng)的可用性，并且會成為整個文件系統(tǒng)性能的瓶頸。
　　本文針對以上缺陷，提出了一種改進的HDFS多Namenode架構(gòu)，將Namenode水平擴展到集群中的多個節(jié)點，Namenode構(gòu)成一個集群系統(tǒng)，并根據(jù)功能劃分為Namenode Leader和Common Namenode兩種角色；通過心跳機制獲取Namenode集群的在線狀態(tài)和負載信息；在研究了幾種分布式一致性策略

4、后，設(shè)計了基于Paxos算法的Namenode Leader選舉機制；并設(shè)計了集群中節(jié)點失效的處理流程。
　　對于分布式Namenode架構(gòu)帶來的元數(shù)據(jù)管理的問題，基于對元數(shù)據(jù)結(jié)構(gòu)和訪問特點的分析，對Namenode所維護的命名空間和元數(shù)據(jù)服務(wù)進行分布，提出了一種基于哈希算法和集群實時負載情況的兩級Namenode元數(shù)據(jù)分布策略；設(shè)計了元數(shù)據(jù)在Namenode集群中的冗余機制；對于元數(shù)據(jù)在冗余節(jié)點上的一致性問題，基于經(jīng)典的分布式一