基于Hadoop的海量統(tǒng)計(jì)小文件存儲(chǔ)優(yōu)化研究.pdf

1、隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等科學(xué)技術(shù)的不斷發(fā)展，信息數(shù)據(jù)量迅猛增長(zhǎng)，我們已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代。傳統(tǒng)的數(shù)據(jù)技術(shù)架構(gòu)在處理海量數(shù)據(jù)時(shí)暴露出很多問(wèn)題，在處理效率、可擴(kuò)展性、可用性、并發(fā)性等方面越來(lái)越不能滿足人們的要求。海量數(shù)據(jù)的存儲(chǔ)和處理成為一個(gè)熱點(diǎn)課題，亟需一種新的存儲(chǔ)方式和處理手段。
　　作為一個(gè)開(kāi)源分布式計(jì)算平臺(tái)，Hadoop能夠在大量普通機(jī)器組成的服務(wù)器群中對(duì)海量數(shù)據(jù)進(jìn)行分布式處理，且具有高效性、高擴(kuò)展性、高可靠性、高容錯(cuò)性等特點(diǎn)，在

2、存儲(chǔ)和處理大量數(shù)據(jù)的效率和性能上有著天然的優(yōu)勢(shì)。然而由于Hadoop自身的主從式結(jié)構(gòu)和元數(shù)據(jù)存儲(chǔ)方式導(dǎo)致其在處理海量小文件時(shí)出現(xiàn)效率低下的問(wèn)題。
　　本文結(jié)合統(tǒng)計(jì)工作，將 Hadoop框架應(yīng)用于海量統(tǒng)計(jì)數(shù)據(jù)的存儲(chǔ)和處理，針對(duì)Hadoop平臺(tái)在處理大量的圖片、文本類型等格式的統(tǒng)計(jì)小文件時(shí)產(chǎn)生的NameNode內(nèi)存消耗過(guò)度、文件訪問(wèn)效率低下等問(wèn)題，通過(guò)研究統(tǒng)計(jì)文件的特點(diǎn)，在吸取其他研究者優(yōu)秀策略的基礎(chǔ)上，利用 Hadoop生態(tài)系統(tǒng)的相

3、關(guān)組件，對(duì) Hadoop集群進(jìn)行改進(jìn)和優(yōu)化，主要進(jìn)行了三方面工作：一是設(shè)計(jì)了一個(gè)文件合并模塊，采用MapFile技術(shù)將具有相關(guān)性的小文件合并成一個(gè)大文件然后上傳至HDFS，在一定程度上減少了文件的元數(shù)據(jù)信息，減輕了NameNode內(nèi)存的存儲(chǔ)壓力，提高了存儲(chǔ)效率，另外建立小文件到大文件的映射，將映射文件存儲(chǔ)到 HBase中以提高小文件的訪問(wèn)效率；二是由于合并在同一個(gè)數(shù)據(jù)塊中的小文件是有關(guān)聯(lián)的，本文在Client端建立了預(yù)取機(jī)制，當(dāng)讀取文件

4、時(shí)對(duì)其對(duì)應(yīng)的索引文件進(jìn)行預(yù)取，以減少對(duì)NameNode節(jié)點(diǎn)的訪問(wèn)，提高NameNode節(jié)點(diǎn)的性能；三是將緩存方案引入了文件讀取過(guò)程，分別在DataNode節(jié)點(diǎn)和Client端建立緩存，進(jìn)一步優(yōu)化了小文件的I/O操作，提高了文件讀取效率。
　　最后，為了評(píng)估優(yōu)化后系統(tǒng)的整體性能，對(duì)系統(tǒng)進(jìn)行了量化分析和測(cè)試。實(shí)驗(yàn)通過(guò)在系統(tǒng)中進(jìn)行小文件讀寫測(cè)試，并與優(yōu)化前Hadoop集群、Sequencefile方法進(jìn)了對(duì)比，主要對(duì)NameNode節(jié)點(diǎn)