基于Hadoop的HDFS性能優(yōu)化方法的研究與改進(jìn).pdf

1、HDFS作為云計(jì)算平臺(tái)Hadoop的文件存儲(chǔ)系統(tǒng)，其集群能部署在廉價(jià)的服務(wù)器上、降低企業(yè)或機(jī)構(gòu)的運(yùn)營(yíng)成本，而且具有高可靠性、高性能、廉價(jià)、可橫向擴(kuò)展等特性，國(guó)內(nèi)外的互聯(lián)網(wǎng)公司甚至傳統(tǒng)行業(yè)都紛紛選擇Hadoop作為數(shù)據(jù)處理的架構(gòu)平臺(tái)。HDFS可以橫向擴(kuò)展添加節(jié)點(diǎn)服務(wù)器，因其節(jié)點(diǎn)的高擴(kuò)展性，理論上講可以為企業(yè)處理任何積級(jí)別的數(shù)據(jù)，而且因內(nèi)部的存儲(chǔ)機(jī)制，HDFS還具有良好的文件備份以及數(shù)據(jù)容錯(cuò)等功能。以上種種特性，讓HDFS在眾多數(shù)據(jù)存儲(chǔ)平臺(tái)

2、脫穎而出。
　　自從Hadoop問(wèn)世以來(lái)，在大數(shù)據(jù)的存儲(chǔ)和處理中都占據(jù)著重要地位。然而，Hadoop的HDFS系統(tǒng)因其自身結(jié)構(gòu)和平臺(tái)的局限性，存在著單點(diǎn)失效、海量小文件存儲(chǔ)等問(wèn)題。這些問(wèn)題的存在，使得銀行數(shù)據(jù)的安全性，淘寶高峰時(shí)用戶(hù)的訪問(wèn)都難以得到保證，所以能否解決以上HDFS存在的問(wèn)題，是Hadoop是否能進(jìn)一步向前發(fā)展與完善的關(guān)鍵。論文主要是針對(duì)HDFS的小文件存儲(chǔ)和Namenode單節(jié)點(diǎn)失效的問(wèn)題做的優(yōu)化工作。在小文件存儲(chǔ)的

3、問(wèn)題上，在原來(lái)的HDFS系統(tǒng)基礎(chǔ)上，增加了一個(gè)元數(shù)據(jù)服務(wù)器，使小文件的元數(shù)據(jù)存儲(chǔ)在該服務(wù)器上，達(dá)到減輕主節(jié)點(diǎn)內(nèi)存壓力的目的。在單點(diǎn)失效的問(wèn)題上，介紹了如今常見(jiàn)的分布式存儲(chǔ)系統(tǒng)單點(diǎn)失效問(wèn)題的解決方案，對(duì)這些解決方案進(jìn)行詳細(xì)的研究后，提出了自己的單點(diǎn)解決機(jī)制，這種機(jī)制可以自動(dòng)切換Namenode節(jié)點(diǎn)，支持二次故障，并且在切換節(jié)點(diǎn)和發(fā)生故障后能夠保持?jǐn)?shù)據(jù)的完整性。
　　最后通過(guò)搭建Hadoop集群驗(yàn)證了小文件存儲(chǔ)優(yōu)化方案在一定程度上減緩