基于HDFS的小文件存儲關鍵技術研究.pdf

1、云存儲系統(tǒng)為存儲大規(guī)模數(shù)據(jù)應運而生，其底層采用分布式文件系統(tǒng)作為存儲平臺。HDFS(Hadoop Distributed File Sysytem)是開源的云計算平臺Hadoop提出的分布式文件系統(tǒng)，其設計簡單，應用廣泛。但是HDFS的設計初衷是為了處理大文件的，而目前隨著互聯(lián)網(wǎng)的發(fā)展，產(chǎn)生了越來越多的小文件需要處理，這給HDFS帶來了挑戰(zhàn)。
　　HDFS采用單一的元數(shù)據(jù)節(jié)點NameNode來管理整個系統(tǒng)的元數(shù)據(jù)信息，并且為了提高

2、訪問效率，將元數(shù)據(jù)存儲在內(nèi)存中，但是當系統(tǒng)中存儲著大量小文件時，會產(chǎn)生非常多的元數(shù)據(jù)，占用較大的NameNode內(nèi)存，使其工作性能受到影響。此外，大量的小文件訪問，需要頻繁向NameNode發(fā)送請求，造成NameNode節(jié)點超負荷工作，成為系統(tǒng)整體性能的一個瓶頸。為了解決這個問題，使HDFS能適應小文件的存儲，本文進行了相關研究，主要包括:
　　對HDFS的系統(tǒng)架構設計和工作原理進行了深入了解。
　　本文提出一種基于合并策略

3、的HDFS小文件存儲解決方案，并給出改進的系統(tǒng)架構。新的方案將小文件合并成為大文件進行存儲，并創(chuàng)建相應的索引，在文件讀取時，設計恰當?shù)臄?shù)據(jù)預取和緩存策略，提高訪問效率。
　　此外，為了進一步提高小文件合并之后的查找訪問效率，本文將小文件進行分類標記，并按文件大小分別合并，并在NameNode端存放小文件標簽的哈希索引和大文件塊的B+樹索引以及不同尺寸小文件相應的塊內(nèi)索引。然后，還設計了三級緩存策略，利用緩存來減少小文件訪問時請求N