面向大規(guī)模數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)可靠性保障技術(shù)研究.pdf

1、大規(guī)模數(shù)據(jù)存儲(chǔ)面臨著數(shù)據(jù)容量大、數(shù)據(jù)結(jié)構(gòu)復(fù)雜、基礎(chǔ)設(shè)施異構(gòu)、失效常態(tài)化等問(wèn)題。高效的、去中心化的元數(shù)據(jù)管理方案對(duì)大型分布式存儲(chǔ)系統(tǒng)的可靠性、可擴(kuò)展性具有重要作用。動(dòng)態(tài)的、自適應(yīng)的副本機(jī)制對(duì)系統(tǒng)I/O響應(yīng)性能、容錯(cuò)性和存儲(chǔ)利用率有很大影響?，F(xiàn)有相關(guān)工作在可擴(kuò)展性、數(shù)據(jù)遷移、數(shù)據(jù)結(jié)點(diǎn)負(fù)載均衡等方面存在一些不足之處。
　　首先,針對(duì)基于哈希的劃分和基于子樹(shù)劃分的元數(shù)據(jù)管理方案擴(kuò)展代價(jià)巨大以及對(duì)集群變動(dòng)敏感等問(wèn)題,提出一種基于一致性哈希結(jié)

2、構(gòu)的MDS(MetaData Server)集群化方案—CH-MMS。CH-MMS在一致性MDS集群上引入虛擬MDS,有效平衡MDS集群負(fù)載;將Standby機(jī)制與延遲更新策略融合并應(yīng)用于MDS集群,實(shí)現(xiàn)MDS快速失效恢復(fù)以及集群變動(dòng)時(shí)零數(shù)據(jù)遷移量。闡述了CH-MMS的體系結(jié)構(gòu),介紹了核心數(shù)據(jù)結(jié)構(gòu)LayoutTable、虛擬MDS結(jié)構(gòu)、延遲更新機(jī)制以及相關(guān)算法,并對(duì)CH-MMS擴(kuò)展性、容錯(cuò)性作了定性分析。
　　其次,針對(duì)分布式存儲(chǔ)

3、系統(tǒng)中結(jié)點(diǎn)失效的不可避免性,在CH-MMS作為元數(shù)據(jù)服務(wù)組件的基礎(chǔ)上,提出一種基于文件支持度的文件熱度評(píng)價(jià)模型。該模型通過(guò)周期性的參數(shù)調(diào)整,使其能夠自適應(yīng)系統(tǒng)不斷變化的負(fù)載狀態(tài),盡可能做出反映系統(tǒng)實(shí)際狀態(tài)的副本決策。提出一種數(shù)據(jù)結(jié)點(diǎn)分群算法,根據(jù)整體負(fù)載狀況對(duì)數(shù)據(jù)結(jié)點(diǎn)進(jìn)行劃分,避免片面性。在該模型基礎(chǔ)上實(shí)現(xiàn)數(shù)據(jù)結(jié)點(diǎn)負(fù)載均衡調(diào)整算法、文件支持度動(dòng)態(tài)調(diào)整算法和惰性副本清理算法,達(dá)到副本動(dòng)態(tài)自適應(yīng)調(diào)整的目的。
　　最后,通過(guò)理論分析和原