基于Hadoop平臺(tái)的地震波形數(shù)據(jù)處理方法研究.pdf

1、近年來國家對(duì)地震領(lǐng)域的發(fā)展頗為關(guān)注，地震數(shù)據(jù)分析成為地震領(lǐng)域的熱門話題。隨著科學(xué)技術(shù)的不斷發(fā)展，地震數(shù)據(jù)采集儀器的精密度有了很大提升。分散在國內(nèi)的地震監(jiān)測臺(tái)站數(shù)量不斷增加，這使得數(shù)據(jù)采集量大增。國家臺(tái)網(wǎng)中心每天匯集約40GB的地震波形數(shù)據(jù)，如此海量的數(shù)據(jù)給數(shù)據(jù)存儲(chǔ)和分析造成了很大的挑戰(zhàn)。為了方便傳輸，通常將波形數(shù)據(jù)保存為SEED格式。在進(jìn)行地震數(shù)據(jù)分析前，需要首先將SEED格式文件解壓縮，得到原始樣本序列?，F(xiàn)有方法是利用串行思想，每次只

2、能夠解壓縮單個(gè)文件，無法完成批量文件的解壓縮操作。由于地震數(shù)據(jù)在采集過程中會(huì)收集到一些干擾信號(hào)，這些信號(hào)會(huì)影響地震分析的準(zhǔn)確性，因此在解壓縮得到原始樣本序列后，需要先對(duì)序列進(jìn)行濾波處理，保證地震數(shù)據(jù)分析的質(zhì)量。面對(duì)大量地震波形數(shù)據(jù)時(shí)，串行濾波方法存在計(jì)算速度慢，處理效率較低的問題。
　　Hadoop是開源的分布式計(jì)算框架，也是目前使用較廣泛的云計(jì)算技術(shù)之一。其核心組件分布式文件系統(tǒng)可以實(shí)現(xiàn)海量數(shù)據(jù)的可靠存儲(chǔ)，MapReduce編程

3、模型可以通過并行化方式處理大規(guī)模數(shù)據(jù)，縮短數(shù)據(jù)處理時(shí)間，因此可以利用Hadoop平臺(tái)來解決上述問題。本文從如下方面進(jìn)行了研究:
　　(1)基于地震波形數(shù)據(jù)文件的格式特征，對(duì)在Hadoop平臺(tái)上并行處理該類數(shù)據(jù)文件進(jìn)行可行性分析。
　　(2)利用MapReduce并行編程模型思想，設(shè)計(jì)了與地震波形數(shù)據(jù)文件相匹配的輸入格式，提出并實(shí)現(xiàn)了批量地震波形數(shù)據(jù)文件的并行解壓縮算法。其中采用二次排序方法確定通道內(nèi)數(shù)據(jù)記錄的排列順序，保證解