Hadoop分布式文件系統小文件數據存儲性能的優(yōu)化方法研究.pdf

1、當今社會已進入大數據時代，高效的數據存儲和讀取已成為人們關注的熱點問題，Hadoop在大數據存儲方面體現出了良好的數據存儲性能，但是最近隨著博客、維基百科、空間等一系列的社交應用的廣泛應用，小文件數據大量產生，對存儲大量小文件數據提出了很大挑戰(zhàn)，而Hadoop分布式文件系統由于其單一Namenode的結構，在小文件存儲上效率是很低的，并容易導致Namenode瓶頸問題，本文就是在Hadoop分布式文件系統存儲小文件上提出新的解決方案并測

2、試其可行性。
　　論文的研究工作得到了國家自然科學基金項目(No.61271308、61172072、61401015)，北京市教育委員會研究生學科建設項目和中國電建集團成都勘測設計研究院項目的支持，論文的主要工作如下:
　　首先，論文分析了Hadoop分布式文件系統的特點及問題:單一Namenode在存儲海量小文件上會產生大量元數據信息，導致Namenode內存消耗過大。因此采用了小文件合并大文件的方案解決，但是，小文件合

3、并大文件后小文件讀取需要二次索引才能讀取對應小文件，文件讀取效率會受一定影響，因此，通過引入二級索引元數據信息以及加入預取和緩存機制來提高小文件的讀取效率。通過上述分析，本文提出了一種擴展的Hadoop分布式文件系統框架結構，主要是在用戶層和數據存儲層中間加了一個數據處理層，主要完成的是小文件合并和文件預取和緩存工作，從而提高小文件存儲的存儲性能。
　　論文在擴展的Hadoop分布式文件系統框架結構中，主要應用了以下算法:基于文件

4、類型的小文件合并算法，通過將大量小文件按文件擴展名進行簡單分類處理，然后合并成大文件，有效地降低了Namenode的內存消耗;基于文件類型的合并文件元數據二級索引算法，通過提高小文件合并大文件的映射文件的讀取速度進而提高了系統整體的文件讀取效率;基于動態(tài)頻率統計的熱存儲算法，通過將一定時間內將讀取頻率最高的合并文件保存到文件預取和緩存部分，當用戶發(fā)出請求讀取預取和緩存部分文件時，不需要同Namenode進行交互，可直接讀取對應小文件，也