針對地震大數(shù)據(jù)的分布式文件系統(tǒng)的研究與設(shè)計(jì).pdf

1、現(xiàn)代社會隨著科學(xué)技術(shù)不斷地進(jìn)步發(fā)展，互聯(lián)網(wǎng)的不斷普及，人們逐漸了解了云這個(gè)全新的定義。伴隨著云時(shí)代的到來，大數(shù)據(jù)也同樣進(jìn)入了人們的視線。信息技術(shù)的長足進(jìn)步，大數(shù)據(jù)的應(yīng)用已涉及到了社會的各行各業(yè)。其中在地震勘探方面，為了滿足社會的需求，地震勘探所產(chǎn)生的數(shù)據(jù)量也在大幅增長，海量數(shù)據(jù)的產(chǎn)生雖然很好地反映了社會對石油、天然氣等資源的極大需求，但是大規(guī)模的數(shù)據(jù)的處理問題也給地震勘探行業(yè)帶來嚴(yán)峻的挑戰(zhàn)。
　　地震勘探產(chǎn)生的海量數(shù)據(jù)所帶來的問題

2、是多方面的，包括存儲、讀取、冗余、抽取等。本文重點(diǎn)針對數(shù)據(jù)的存儲與讀取兩個(gè)方面。
　　在實(shí)際情況中，讀取地震數(shù)據(jù)需要考慮用戶的具體情況，滿足用戶的需求，這一般體現(xiàn)在讀取數(shù)據(jù)的速度和效率方面，同時(shí)還需要考慮到地震數(shù)據(jù)本身的特點(diǎn)。本文針對這些方面設(shè)計(jì)了一種架構(gòu)，采用分布和分級的策略。分布即對地震數(shù)據(jù)的分布式存儲:把大量的地震數(shù)據(jù)分散到各個(gè)存儲節(jié)點(diǎn)進(jìn)行存儲，同時(shí)通過一個(gè)主節(jié)點(diǎn)對這些數(shù)據(jù)節(jié)點(diǎn)進(jìn)行管理;分級即數(shù)據(jù)的分級查詢:從主節(jié)點(diǎn)到數(shù)據(jù)節(jié)

3、點(diǎn)，分級地對所需要的數(shù)據(jù)進(jìn)行查詢，進(jìn)而得到用戶所需要的數(shù)據(jù)。
　　本文在此架構(gòu)的基礎(chǔ)上，針對地震勘探數(shù)據(jù)本身的存儲格式即SEG-Y格式，以該格式為基準(zhǔn)，對地震數(shù)據(jù)的存儲格式進(jìn)行了改進(jìn)，并與原SEG-Y進(jìn)行對比，結(jié)果表明在一定程度上提高了效率。除此之外，本文基于此架構(gòu)加入了兩級索引結(jié)構(gòu)，通過索引快速找出數(shù)據(jù)存儲的位置并進(jìn)行讀取，保證了用戶讀取數(shù)據(jù)的需求。這是本文基于分布分級策略的相關(guān)實(shí)現(xiàn)細(xì)節(jié)，也是本文的創(chuàng)新之處所在。
　　針對

4、以上幾個(gè)方面的研究，本文以目前比較流行的兩種分布式文件系統(tǒng)FastDFS和Hadoop DFS為載體，結(jié)合地震數(shù)據(jù)本身的特點(diǎn)以及對IO性能的需求，把前文提出的分布與分級式的策略融合進(jìn)這兩個(gè)分布式文件系統(tǒng)中，使其在地震數(shù)據(jù)的性能方面能發(fā)揮出應(yīng)有的優(yōu)勢。然后在此基礎(chǔ)上對文件的操作進(jìn)行測試并與原有分布式文件系統(tǒng)進(jìn)行性能對比，測試與對比結(jié)果表明，本文設(shè)計(jì)出的分布式文件系統(tǒng)在對地震勘探數(shù)據(jù)的處理是十分合適且高效的。由于本文設(shè)計(jì)出的系統(tǒng)對于地震數(shù)據(jù)