HDFS中文件存儲優(yōu)化的相關技術研究.pdf

1、面對不斷增長的海量數(shù)據(jù)，目前計算機領域提出了一種新的計算模式——云計算，Hadoop是一個可實現(xiàn)大規(guī)模分布式計算的開源框架，具有高吞吐量、高可靠性、高可伸縮性等優(yōu)點，因此被廣泛應用在云計算領域。Hadoop中的分布式文件系統(tǒng)HDFS是被設計成適合運行在通用硬件上的分布式文件系統(tǒng)，它是一個高度容錯的系統(tǒng)，可以部署在廉價的機器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應用，并能夠以流的方式讀取文件系統(tǒng)中的數(shù)據(jù)。
　

2、　但是作為一個正在不斷發(fā)展中的分布式文件系統(tǒng)，HDFS也不可避免的存在一些文件數(shù)據(jù)存儲方面的缺陷。例如HDFS在數(shù)據(jù)副本存儲時，是在機架上隨機選擇Datanode進行存儲，可能導致Datanode負載不均衡，從而影響整個系統(tǒng)的性能;并且HDFS最初是被設計用來流式的存儲大文件，未對小文件的存儲進行優(yōu)化，因此在處理小文件時性能十分低下。本文首先對分布式文件系統(tǒng)的發(fā)展做一些簡要的介紹，然后深入分析了HDFS分布式文件系統(tǒng)，包括其架構、元數(shù)據(jù)

3、管理、以及文件讀寫流程等，并且分析了現(xiàn)有的解決HDFS數(shù)據(jù)存儲及小文件存儲的一些方案的性能以及不足。本文的主要創(chuàng)新點如下:
　　1、針對在機架上隨機選擇Datanode進行數(shù)據(jù)副本存儲時，可能導致Datanode負載不均衡等問題，提出了采用多目標優(yōu)化技術，基于Datanode的當前運行狀態(tài)，尋找綜合條件最優(yōu)的Datanode進行數(shù)據(jù)存儲的方法。該方法使得數(shù)據(jù)副本均衡的存儲在Datanode中，也可以提高數(shù)據(jù)讀寫的性能。
　　

4、2、實際的應用中會產(chǎn)生大量的小文件，針對HDFS存儲小文件的不足，提出了小文件合并和Client端緩存小文件等策略。在Client端將小文件合并成若干大文件后，將大文件及相關元數(shù)據(jù)一同存儲到HDFS中;在讀取某個小文件時，Client端緩存從Datanode返回的包含該小文件的整個大文件，再次讀取該小文件，或者大文件中的其它小文件時，可以直接從Client端讀取。減少了Client端向Namenode頻繁請求元數(shù)據(jù)的次數(shù)，也減少了Cli