鉆井?dāng)?shù)據(jù)分布式存儲系統(tǒng)設(shè)計(jì).pdf

1、現(xiàn)代鉆井需要將各個(gè)不同工藝技術(shù)類型的鉆井?dāng)?shù)據(jù)進(jìn)行采集,包括比如鉆前數(shù)據(jù)、鉆進(jìn)數(shù)據(jù)、固井?dāng)?shù)據(jù)、管具數(shù)據(jù)、HSE數(shù)據(jù)、專家知識數(shù)據(jù)以及勘探開發(fā)等關(guān)聯(lián)業(yè)務(wù)數(shù)據(jù)等等,既有結(jié)構(gòu)數(shù)據(jù),又有圖片、影音、word等復(fù)雜的文件數(shù)據(jù);通過建立起的一個(gè)大型智能平臺,利用上述數(shù)據(jù)為下一步工作包括臨井的開發(fā)、工藝技術(shù)配套等提供技術(shù)支撐。通過對國內(nèi)外較優(yōu)秀的分布式存儲系統(tǒng)進(jìn)行學(xué)習(xí)和總結(jié),結(jié)合勝利油田現(xiàn)代鉆井系統(tǒng)基礎(chǔ)數(shù)據(jù)平臺項(xiàng)目,論文設(shè)計(jì)并實(shí)現(xiàn)了鉆井?dāng)?shù)據(jù)分布式存儲系

2、統(tǒng)。
　　 本文首先從用戶需求、外部接口及系統(tǒng)性能和可靠性三個(gè)方面對系統(tǒng)需求進(jìn)行了分析,在此基礎(chǔ)上提出了系統(tǒng)的總體架構(gòu)。系統(tǒng)主要由主服務(wù)器(Master Server)、文件塊存儲服務(wù)器(Chunk Server)及客戶端(Client)三部分組成。Master Server:主要負(fù)責(zé)對元數(shù)據(jù)進(jìn)行管理,包括名字空間,文件到文件塊的映射,文件塊到Chunk Server的映射;Chunk Server負(fù)責(zé)管理文件塊的操作,根據(jù)Ma

3、ster Server的指令對文件塊進(jìn)行新建、刪除和復(fù)制等操作;Client為應(yīng)用端提供文件操作接口,包括文件的創(chuàng)建、追加、讀取及刪除操作。隨后介紹了分布式存儲系統(tǒng)涉及到的關(guān)鍵技術(shù)一主要包括實(shí)現(xiàn)方案、緩存設(shè)計(jì)及負(fù)載均衡算法設(shè)計(jì)三個(gè)方面。根據(jù)實(shí)際應(yīng)用的需要,本系統(tǒng)采用共享文件系統(tǒng)的實(shí)現(xiàn)方案,在客戶端主存對數(shù)據(jù)進(jìn)行緩存以及通過write-through算法保證緩存的一致性。文章通過基于可配置權(quán)值的動態(tài)自適應(yīng)請求調(diào)度算法實(shí)現(xiàn)對客戶端請求和文件

4、塊分配負(fù)載均衡以及基于最小發(fā)送請求數(shù)算法實(shí)現(xiàn)文件塊的Rebalance。最后對負(fù)載均衡算法進(jìn)了測試分析。接著詳細(xì)介紹了數(shù)據(jù)交互的總體架構(gòu)和具體流程,主要包括文件的創(chuàng)建、追加、讀取及刪除操作。為了保證數(shù)據(jù)的可用性和一致性,本文提出了文件塊拷貝、數(shù)據(jù)校驗(yàn)以及垃圾回收等機(jī)制。最后給出了系統(tǒng)原型實(shí)現(xiàn)類圖并對整體性能進(jìn)行了測試。在系統(tǒng)實(shí)現(xiàn)部分,介紹了基于IO流的基本數(shù)據(jù)類型的設(shè)計(jì)實(shí)現(xiàn)以及Master Server、Chunk Server、Cli