一種文件路徑與屬性信息分離的分布式元數(shù)據(jù)組織方法.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，面向大數(shù)據(jù)的存儲(chǔ)系統(tǒng)紛紛出現(xiàn)。不斷增長(zhǎng)的數(shù)據(jù)量，使得集中式元數(shù)據(jù)管理系統(tǒng)的負(fù)擔(dān)越來(lái)越重，逐漸成為大數(shù)據(jù)存儲(chǔ)的瓶頸。為此，人們提出了多種分布式元數(shù)據(jù)管理方法，但由于元數(shù)據(jù)的結(jié)構(gòu)類型復(fù)雜多樣，目前尚沒(méi)有一種方法能夠同時(shí)改善元數(shù)據(jù)管理的性能和擴(kuò)展性。
　　提出了一種文件路徑和屬性信息分離的分布式元數(shù)據(jù)組織方法。將元數(shù)據(jù)組織成目錄索引和元數(shù)據(jù)屬性信息兩個(gè)部分，通過(guò)構(gòu)建目錄索引，將元數(shù)據(jù)以目錄或小于目錄為單位劃分到不同

2、的桶（Bucket）內(nèi)，再根據(jù)元數(shù)據(jù)服務(wù)器集群的負(fù)載情況將桶指派到不同的元數(shù)據(jù)服務(wù)器上。方法利用目錄索引和桶提高元數(shù)據(jù)的管理性能；通過(guò)構(gòu)建目錄索引時(shí)考慮集群負(fù)載情況，實(shí)現(xiàn)元數(shù)據(jù)管理的可擴(kuò)展性。此外，提出基于該方法的元數(shù)據(jù)位置緩存策略，策略解決了位置緩存信息不一致的問(wèn)題，縮短了元數(shù)據(jù)管理的流程。
　　測(cè)試結(jié)果表明，提出的方法能獲得較高的管理性能，特別適合高并發(fā)的情況；具有良好的可擴(kuò)展性和較好的訪問(wèn)局部性，而且可以不限制目錄的大??；避