面向海量郵件存儲的分布式文件系統(tǒng)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展和網(wǎng)絡(luò)用戶相互交流的迫切需要，電子郵件日益成為人們辦公和溝通的重要途徑，它的數(shù)據(jù)規(guī)模也呈飛速膨脹的趨勢。傳統(tǒng)的文件系統(tǒng)很難滿足海量數(shù)據(jù)存儲和讀取的性能要求，而現(xiàn)有的分布式文件系統(tǒng)并沒有對海量郵件存儲提供很好的支持，本文正是在這種前提下，對面向海量郵件存儲的分布式文件系統(tǒng)進行了研究。
　　分布式文件系統(tǒng)主要是利用網(wǎng)絡(luò)將多臺機器構(gòu)成一個虛擬的文件系統(tǒng)。本文主要研究并實現(xiàn)了一個面向海量郵件存儲的分布式文件系統(tǒng)，它

2、除具有很強的容錯性、可用性和可擴展性之外，還必須具有很高的I/O性能。針對郵件來源的特殊性，系統(tǒng)必須支持多種數(shù)據(jù)源的直接寫入。為此，本文重點研究了如下問題并依此實現(xiàn)了本系統(tǒng)：
　　首先，本文根據(jù)項目對文件系統(tǒng)的的需求，在合理分析了已有的分布式架構(gòu)的基礎(chǔ)上，設(shè)計出本分布式文件系統(tǒng)的架構(gòu)。根據(jù)架構(gòu)，設(shè)計并實現(xiàn)了系統(tǒng)的各個組成部分。
　　其次，在開始設(shè)計分布式文件系統(tǒng)的內(nèi)部寫入和讀出算法時，引入讀寫鎖和租約。在讀出和寫入數(shù)據(jù)的過程

3、中，研究系統(tǒng)的不同組成部分的多策略的負載平衡。把塊副本冗余作為系統(tǒng)核心的容錯方式，設(shè)計出系統(tǒng)中的每個組成部分的容錯方案。
　　再次，針對郵件來源的不同，有一般的數(shù)據(jù)源FTP，HTTP，F(xiàn)ILE，也有專門的郵件源SMTP，IMAP和POP3，研究多數(shù)據(jù)源的公共接口并實現(xiàn)了公共接口的分布式文件系統(tǒng)寫入。為了增強系統(tǒng)的I/O性能和數(shù)據(jù)完整性，在存儲的文件格式中加入壓縮和同步信息。
　　最后，對分布式文件系統(tǒng)進行I/O性能測試。在機