迅雷離線下載分布式文件系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著計算機網(wǎng)絡(luò)在社會生活中的廣泛使用，分布式應(yīng)用逐漸成為主流。傳統(tǒng)的集中式服務(wù)器系統(tǒng)因其固有的，諸如單一故障點、可擴展性差等缺點，越來越制約著網(wǎng)絡(luò)業(yè)務(wù)向多元化方向發(fā)展，為了滿足眾多應(yīng)用服務(wù)對高性能、高可伸縮性，高可靠性以及高可用性的分布式服務(wù)器系統(tǒng)的需求，人們也慢慢地轉(zhuǎn)向分布式服務(wù)器系統(tǒng)。
　　本文基于Linux內(nèi)核開發(fā)了分布式并行文件系統(tǒng)，即迅雷離線下載分布式文件系統(tǒng)(Xunlei Offline-Download Distri

2、buted File System,簡稱XLFS)。該文件系統(tǒng)運行在普通的Linux機器上，集容錯性、安全性、可擴展性于一身，能夠同時為大量的客戶機提供高性能的服務(wù)。
　　本文首先設(shè)計了分布式文件系統(tǒng)的整體架構(gòu)，并針對迅雷離線下載項目的具體需求，采用了不同于以往文件系統(tǒng)的設(shè)計方案。首先，單一主服務(wù)器和多個塊服務(wù)器的方案，既簡化了文件系統(tǒng)的設(shè)計，又滿足了文件系統(tǒng)的可擴展性。其次，針對離線下載數(shù)據(jù)追加多修改少的特點，文件系統(tǒng)特別提供了

3、原子性的追加操作。再次，服務(wù)器間采用租約的形式交互，在數(shù)據(jù)塊級別上保證數(shù)據(jù)的一致性，而不保證數(shù)據(jù)在字節(jié)級別上的一致性。最后，不同于以往大多數(shù)文件系統(tǒng)，該系統(tǒng)采用校驗和的方式，在工程上提供數(shù)據(jù)的容錯性。
　　本文的研究成果主要有以下幾個方面：首先，掌握了分布式文件系統(tǒng)的相關(guān)技術(shù)，模擬實現(xiàn)了原子性追加、垃圾回收、租約等機制。其次，設(shè)計并實現(xiàn)了一個完整的分布式文件系統(tǒng)，包括主服務(wù)器、塊服務(wù)器和客戶端接口。最后，針對應(yīng)用程序調(diào)用的問題，模