基于CEPH分布式文件系統(tǒng)的云盤系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、數(shù)據(jù)是當(dāng)今互聯(lián)網(wǎng)時(shí)代最核心最具價(jià)值的產(chǎn)物之一，個(gè)人在消費(fèi)和使用互聯(lián)網(wǎng)產(chǎn)品的同時(shí)產(chǎn)生了大量需要持久化存儲(chǔ)的數(shù)據(jù)，個(gè)體存儲(chǔ)設(shè)備的解決方式在這樣一個(gè)存儲(chǔ)量和存儲(chǔ)要求日益增長(zhǎng)的條件下不再能夠滿足個(gè)人用戶的要求，因此越來越多的個(gè)人用戶成為了云存儲(chǔ)的受眾。云計(jì)算幾十年的發(fā)展使得公有云環(huán)境下的存儲(chǔ)技術(shù)已然十分成熟，商業(yè)環(huán)境下誕生了許多優(yōu)秀的云盤產(chǎn)品，但其核心技術(shù)是對(duì)外封閉的，而對(duì)于這種面向大量個(gè)人用戶的公有云盤系統(tǒng)，開源社區(qū)也并沒有完善可靠的整體解決

2、方案。
　　本文基于上述原因?qū)⒐性票P涉及的各個(gè)關(guān)鍵模塊和技術(shù)點(diǎn)進(jìn)行逐個(gè)研究和設(shè)計(jì)，提出了一整套可靠的云盤系統(tǒng)實(shí)現(xiàn)架構(gòu)。首先對(duì)云盤的遠(yuǎn)程文件系統(tǒng)操作機(jī)制的原理和技術(shù)進(jìn)行了分析，研究并設(shè)計(jì)出CFSRPC協(xié)議，給出了協(xié)議的客戶端和服務(wù)端的具體格式定義和二者的通信機(jī)制，云盤系統(tǒng)通過對(duì)該協(xié)議的實(shí)現(xiàn)，可以透明化遠(yuǎn)程文件操作的細(xì)節(jié)，方便客戶端和服務(wù)端上層業(yè)務(wù)的實(shí)現(xiàn)。與此同時(shí)為該協(xié)議設(shè)計(jì)了事務(wù)機(jī)制以顆?；募鬏敺?wù)，設(shè)計(jì)了CSDA算法在協(xié)議級(jí)

3、別動(dòng)態(tài)調(diào)節(jié)文件傳輸?shù)姆謮K大小，增加了該協(xié)議對(duì)云盤系統(tǒng)性能的優(yōu)化。
　　接著對(duì)云盤系統(tǒng)的核心業(yè)務(wù)流程進(jìn)行分析，針對(duì)云盤系統(tǒng)依賴的多個(gè)關(guān)鍵模塊進(jìn)行了分析和整合設(shè)計(jì)，總結(jié)出以訪問層、管理層、存儲(chǔ)層為核心的整體軟件架構(gòu)?；贑eph分布式文件系統(tǒng)設(shè)計(jì)核心存儲(chǔ)模塊，研究分析CephFS和MDS的實(shí)現(xiàn)原理并根據(jù)云盤系統(tǒng)架構(gòu)和CFSRPC協(xié)議的定義，結(jié)合多路IO復(fù)用機(jī)制設(shè)計(jì)實(shí)現(xiàn)了Ceph的接入模塊CCD。將云盤系統(tǒng)的請(qǐng)求分化為文件系統(tǒng)操作請(qǐng)求和