一種分布式文件系統(tǒng)的設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術的快速發(fā)展，每天都會產生很多結構化和非結構化數(shù)據(jù)。存儲設備作為存放數(shù)據(jù)的基礎設施，是計算機系統(tǒng)的重要組成部分之一，面臨成本高、可靠性很低、利用率低、可擴展性低以及維護費用昂貴的困窘。存儲系統(tǒng)逐漸從計算機系統(tǒng)中獨立出來，以一個單獨的模塊管理。從早期DEC的FAL到現(xiàn)在的GFS文件系統(tǒng)大致經歷了三個階段：網(wǎng)絡文件系統(tǒng)，共享SAN文件系統(tǒng)和面向對象的文件系統(tǒng)。網(wǎng)絡文件系統(tǒng)重點實現(xiàn)網(wǎng)絡環(huán)境下的文件共享和解決客戶端與文件服務器的交互

2、問題；共享SAN文件系統(tǒng)重點研究存儲系統(tǒng)的可擴展性和面向SAN的共享文件系統(tǒng)；面向對象文件系統(tǒng)重點研究對象存儲，并發(fā)訪問和元數(shù)據(jù)管理。從系統(tǒng)架構來看主要有C/S體系結構，共享存儲SAN架構，基于集群的分布式架構和 P2P對稱式體系結構。其中基于集群的分布式文件系統(tǒng)是普遍采用的體系結構，該結構由三個組件構成：客戶端、元數(shù)據(jù)服務器和數(shù)據(jù)服務器?？蛻舳素撠煱l(fā)送讀寫請求，緩存文件元數(shù)據(jù)和文件數(shù)據(jù)。元數(shù)據(jù)服務器負責管理元數(shù)據(jù)和處理客戶端的請求，是

3、整個系統(tǒng)的核心組件。數(shù)據(jù)服務器負責存放文件數(shù)據(jù)，保證數(shù)據(jù)的可用性和完整性。該架構的好處是性能和容量能夠同時擴展，系統(tǒng)規(guī)模具有很強的伸縮性。
　　本文設計和實現(xiàn)一種基于集中式元數(shù)據(jù)服務模型和基于集群的分布式文件系統(tǒng)。其中元數(shù)據(jù)服務主要由三個部分構成：資源管理節(jié)點，元數(shù)據(jù)服務主節(jié)點和元數(shù)據(jù)服務集群。資源管理節(jié)點主要負責管理所有的元數(shù)據(jù)服務節(jié)點，通過心跳技術檢測元數(shù)據(jù)服務所有節(jié)點的狀態(tài)。當主節(jié)點失效之后，資源管理節(jié)點迅速從元數(shù)據(jù)集群選擇

4、一個主節(jié)點恢復元數(shù)據(jù)服務，從而消除了系統(tǒng)的單點故障，提升了元數(shù)據(jù)服務的高可用性。數(shù)據(jù)服務器負責存放文件數(shù)據(jù)，數(shù)據(jù)以塊的形式管理。每個服務器進程負責一個磁盤，對該磁盤上的數(shù)據(jù)塊進行管理。本文通過把小文件合并成文件塊，不但降低小文件寫入操作的系統(tǒng)開銷，而且節(jié)約了磁盤空間。數(shù)據(jù)節(jié)點采用廉價的PC，磁盤資源也很寶貴。磁盤負載失衡會造成磁盤的浪費，本文先對磁盤的負載進行分析，然后采用遺傳算法對數(shù)據(jù)服務器集群所有磁盤進行負載均衡，平衡磁盤之間的使用