基于HDFS的多租戶小文件存儲系統(tǒng)的研究與設(shè)計.pdf

1、計算機技術(shù)尤其是互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，使得人們產(chǎn)生與分享信息變得愈發(fā)便利與多樣。如當(dāng)前普遍使用的微信，人們隨時隨地可以產(chǎn)生大量短小的圖片、音頻及視頻內(nèi)容。這對存儲和處理這些巨量的信息提出了很大的挑戰(zhàn)，尤其是小文件存儲與處理系統(tǒng)，它是目前互聯(lián)網(wǎng)應(yīng)用服務(wù)必須具備的底層服務(wù)。目前Hadoop系統(tǒng)已經(jīng)成為目前用于大數(shù)據(jù)存儲和處理的公認(rèn)標(biāo)準(zhǔn)。但Hadoop包含的底層分布式存儲系統(tǒng)HDFS(Hadoop Distributed File Syste

2、m)的設(shè)計著重于高延時、高吞吐大文件場景的數(shù)據(jù)處理，其元數(shù)據(jù)訪問模式對小文件場景十分不利。
　　HDFS運行時必須將所有的文件元數(shù)據(jù)信息載入到服務(wù)器內(nèi)存中，因而一個集群的文件存儲數(shù)量受限于元數(shù)據(jù)服務(wù)器內(nèi)存的大小。大量小文件會和大文件一樣產(chǎn)生對應(yīng)的元數(shù)據(jù)條目，但其實際占用的存儲空間卻比后者小很多，這使得元數(shù)據(jù)和集群空間利用率被很大程度地降低。在文件訪問上，通常需要多達(dá)四次的網(wǎng)絡(luò)請求客戶端才能正真獲取到需要的文件內(nèi)容。對小文件而言，網(wǎng)

3、絡(luò)請求耗時比大文件占比要高且直接影響到訪問效率。另外當(dāng)前HDFS還不具備多租戶機制，只能對用戶級別的容量和文件數(shù)做配額約束，而不能動態(tài)、細(xì)粒度地限定用戶的資源使用。
　　針對上述問題，本文通過修改HDFS的元數(shù)據(jù)存儲模式，首次將多級分離緩存引入到HDFS元數(shù)據(jù)存儲管理中。該設(shè)計從根本上來解決了大量小文件對元數(shù)據(jù)內(nèi)存的消耗問題，且可以通過不同的緩存策略降低由此引入的緩存失效延遲問題。同時本文還提出了一種新的文件直接訪問模式，使得客戶