Hadoop分布式文件系統(tǒng)小文件數(shù)據(jù)存儲(chǔ)性能的優(yōu)化方法研究.pdf

1、當(dāng)今社會(huì)已進(jìn)入大數(shù)據(jù)時(shí)代，高效的數(shù)據(jù)存儲(chǔ)和讀取已成為人們關(guān)注的熱點(diǎn)問題，Hadoop在大數(shù)據(jù)存儲(chǔ)方面體現(xiàn)出了良好的數(shù)據(jù)存儲(chǔ)性能，但是最近隨著博客、維基百科、空間等一系列的社交應(yīng)用的廣泛應(yīng)用，小文件數(shù)據(jù)大量產(chǎn)生，對(duì)存儲(chǔ)大量小文件數(shù)據(jù)提出了很大挑戰(zhàn)，而Hadoop分布式文件系統(tǒng)由于其單一Namenode的結(jié)構(gòu)，在小文件存儲(chǔ)上效率是很低的，并容易導(dǎo)致Namenode瓶頸問題，本文就是在Hadoop分布式文件系統(tǒng)存儲(chǔ)小文件上提出新的解決方案并測(cè)

2、試其可行性。
　　論文的研究工作得到了國家自然科學(xué)基金項(xiàng)目(No.61271308、61172072、61401015)，北京市教育委員會(huì)研究生學(xué)科建設(shè)項(xiàng)目和中國電建集團(tuán)成都勘測(cè)設(shè)計(jì)研究院項(xiàng)目的支持，論文的主要工作如下:
　　首先，論文分析了Hadoop分布式文件系統(tǒng)的特點(diǎn)及問題:單一Namenode在存儲(chǔ)海量小文件上會(huì)產(chǎn)生大量元數(shù)據(jù)信息，導(dǎo)致Namenode內(nèi)存消耗過大。因此采用了小文件合并大文件的方案解決，但是，小文件合

3、并大文件后小文件讀取需要二次索引才能讀取對(duì)應(yīng)小文件，文件讀取效率會(huì)受一定影響，因此，通過引入二級(jí)索引元數(shù)據(jù)信息以及加入預(yù)取和緩存機(jī)制來提高小文件的讀取效率。通過上述分析，本文提出了一種擴(kuò)展的Hadoop分布式文件系統(tǒng)框架結(jié)構(gòu)，主要是在用戶層和數(shù)據(jù)存儲(chǔ)層中間加了一個(gè)數(shù)據(jù)處理層，主要完成的是小文件合并和文件預(yù)取和緩存工作，從而提高小文件存儲(chǔ)的存儲(chǔ)性能。
　　論文在擴(kuò)展的Hadoop分布式文件系統(tǒng)框架結(jié)構(gòu)中，主要應(yīng)用了以下算法:基于文件

4、類型的小文件合并算法，通過將大量小文件按文件擴(kuò)展名進(jìn)行簡單分類處理，然后合并成大文件，有效地降低了Namenode的內(nèi)存消耗;基于文件類型的合并文件元數(shù)據(jù)二級(jí)索引算法，通過提高小文件合并大文件的映射文件的讀取速度進(jìn)而提高了系統(tǒng)整體的文件讀取效率;基于動(dòng)態(tài)頻率統(tǒng)計(jì)的熱存儲(chǔ)算法，通過將一定時(shí)間內(nèi)將讀取頻率最高的合并文件保存到文件預(yù)取和緩存部分，當(dāng)用戶發(fā)出請(qǐng)求讀取預(yù)取和緩存部分文件時(shí)，不需要同Namenode進(jìn)行交互，可直接讀取對(duì)應(yīng)小文件，也