云存儲(chǔ)中元數(shù)據(jù)管理關(guān)鍵技術(shù)的研究與實(shí)現(xiàn).pdf

1、云存儲(chǔ)已經(jīng)得到越來(lái)越廣泛的應(yīng)用,而它的構(gòu)建離不開(kāi)分布式文件系統(tǒng)的支持。當(dāng)前主流的分布式文件系統(tǒng)都是把元數(shù)據(jù)和數(shù)據(jù)分離開(kāi)來(lái)進(jìn)行管理,元數(shù)據(jù)被單獨(dú)保存在元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)上,而文件數(shù)據(jù)存放在數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)中。顯然,元數(shù)據(jù)節(jié)點(diǎn)的性能關(guān)系到整個(gè)存儲(chǔ)系統(tǒng)的性能。
　　本文首先對(duì)云存儲(chǔ)底層支撐中的分布式文件系統(tǒng)的關(guān)鍵架構(gòu)技術(shù)進(jìn)行了研究,發(fā)現(xiàn)很多主流分布式文件系統(tǒng)使用單個(gè)節(jié)點(diǎn)來(lái)管理系統(tǒng)中的元數(shù)據(jù),這種架構(gòu)在面對(duì)云存儲(chǔ)的海量數(shù)據(jù)環(huán)境下,很容易因?yàn)楣?jié)點(diǎn)

2、自身的內(nèi)存以及某些熱點(diǎn)數(shù)據(jù)和網(wǎng)絡(luò)帶寬等給整個(gè)系統(tǒng)帶來(lái)性能瓶頸。然后,本文分析了元數(shù)據(jù)管理策略的特性和主要技術(shù),針對(duì)元數(shù)據(jù)管理的關(guān)鍵問(wèn)題展開(kāi)了深入研究。
　　研究中發(fā)現(xiàn),目前大部分元數(shù)據(jù)管理策略存在一些不足:
　　(1)當(dāng)文件重命名和目錄修改時(shí)需要遷移大量元數(shù)據(jù),從而造成大量網(wǎng)絡(luò)開(kāi)銷。
　　(2)由于大量客戶在同一時(shí)間集中訪問(wèn)某一元數(shù)據(jù),而使集中式的單元數(shù)據(jù)服務(wù)器(Metadata Server, MDS)成為訪問(wèn)“熱點(diǎn)

3、”,從而造成負(fù)載失衡,影響系統(tǒng)的性能。元數(shù)據(jù)緩存可有效減少M(fèi)DS與數(shù)據(jù)庫(kù)服務(wù)器之間的交互,從而減少系統(tǒng)響應(yīng)時(shí)間,提高系統(tǒng)性能。
　　針對(duì)上述問(wèn)題,本文借鑒當(dāng)前主流分布式文件系統(tǒng)的設(shè)計(jì)理念,提出了一種適合云存儲(chǔ)環(huán)境的元數(shù)據(jù)管理方案。主要包含以下幾點(diǎn):
　　(1)用分布式的元數(shù)據(jù)服務(wù)器集群來(lái)代替單一的元數(shù)據(jù)服務(wù)器。
　　(2)使用基于偽隨機(jī)序列的分布算法,并以目錄為粒度來(lái)分布元數(shù)據(jù)。
　　(3)把元數(shù)據(jù)緩存技術(shù)引入元

4、數(shù)據(jù)管理中,并提出了元數(shù)據(jù)保留值的概念,根據(jù)云存儲(chǔ)環(huán)境中元數(shù)據(jù)的訪問(wèn)特性設(shè)計(jì)了計(jì)算元數(shù)據(jù)緩存保留值的規(guī)則,給出了基于保留值的緩存替換算法和緩存寫(xiě)回算法。
　　通過(guò)仿真實(shí)驗(yàn),發(fā)現(xiàn)本文提出的偽隨機(jī)分布算法能使元數(shù)據(jù)分布的均衡性顯著提高,并能從統(tǒng)計(jì)意義上保證遷移的數(shù)據(jù)量最優(yōu),算法的執(zhí)行效率也非?？捎^。
　　而本文提出的基于保留值的緩存替換算法與傳統(tǒng)典型替換算法相比,不僅更能提高緩存命中率,還更具備穩(wěn)定性和靈活性,從而使云存儲(chǔ)中元數(shù)