氣象數(shù)據(jù)歸檔與查詢系統(tǒng)數(shù)據(jù)管理技術(shù)研究與優(yōu)化.pdf

1、氣象科學(xué)數(shù)據(jù)是地球科學(xué)數(shù)據(jù)的重要組成部分。通過對大氣的各種要素狀態(tài)的定量描述來研究其物理和化學(xué)特性，從而揭示地球大氣的演變規(guī)律，實現(xiàn)對各種大氣現(xiàn)象的預(yù)測。隨著社會、經(jīng)濟和科學(xué)技術(shù)的發(fā)展，氣象科學(xué)數(shù)據(jù)蘊含的巨大價值亟待被發(fā)掘和利用。因此迫切需要利用先進的計算機和信息技術(shù)來實現(xiàn)各種海量復(fù)雜氣象科學(xué)數(shù)據(jù)的高效管理和共享。氣象歸檔查詢系統(tǒng)（MARS）正是在這一背景下誕生的。其主要作用是管理使用自描述信息編碼的各種氣象數(shù)據(jù)產(chǎn)品文件。經(jīng)過多年的廣泛

2、應(yīng)用，MARS系統(tǒng)在海量氣象科學(xué)數(shù)據(jù)管理方面發(fā)揮了巨大作用。本文立足于這一成熟的科學(xué)大數(shù)據(jù)管理平臺，研究分析了氣象科學(xué)數(shù)據(jù)管理的相關(guān)技術(shù)，特別是針對MARS系統(tǒng)在實際業(yè)務(wù)運行中關(guān)鍵技術(shù)存在的性能瓶頸問題，提出了相應(yīng)的改進方案。主要工作和貢獻如下：
　　1、對目前國內(nèi)外氣象科研部門研發(fā)和使用的主流氣象科學(xué)數(shù)據(jù)管理系統(tǒng)進行數(shù)據(jù)管理框架和關(guān)鍵技術(shù)的研究和分析。結(jié)合氣象科學(xué)數(shù)據(jù)邏輯、物理結(jié)構(gòu)和數(shù)據(jù)模型，分析和研究MARS系統(tǒng)的主要架構(gòu)和基

3、于多維數(shù)據(jù)模型的元數(shù)據(jù)組織和管理方式、對象管理及對象數(shù)據(jù)庫、文件存儲接口等關(guān)鍵技術(shù)。提出了MARS系統(tǒng)在處理大數(shù)據(jù)量服務(wù)請求時元數(shù)據(jù)操作效率低下的關(guān)鍵研究問題。
　　2、提出了基于多路數(shù)組結(jié)構(gòu)MARS系統(tǒng)數(shù)據(jù)立方體并行計算方法。MARS系統(tǒng)數(shù)據(jù)管理技術(shù)的核心是利用數(shù)據(jù)立方體技術(shù)實現(xiàn)元數(shù)據(jù)索引計算。在對多維數(shù)據(jù)模型和數(shù)據(jù)立方體技術(shù)深入研究的基礎(chǔ)上，對制約數(shù)據(jù)管理效率提高的元數(shù)據(jù)索引串行計算問題進行了深入分析。在此基礎(chǔ)上，提出基于多路

4、數(shù)組結(jié)構(gòu)的數(shù)據(jù)立方體并行算法來提高元數(shù)據(jù)索引計算的效率，并通過實驗驗證此算法可以有效降低元數(shù)據(jù)索引的數(shù)據(jù)立方體計算時間。
　　3、研究設(shè)計MARS系統(tǒng)數(shù)據(jù)查詢和歸檔過程中的元數(shù)據(jù)檢索和更新并行計算方法。結(jié)合多路數(shù)組結(jié)構(gòu)的數(shù)據(jù)立方體并行計算方法，對系統(tǒng)中邏輯元數(shù)據(jù)與物理元數(shù)據(jù)的檢索和更新進行并行化改進，并針對并行計算的結(jié)果歸并問題提出基于二次數(shù)據(jù)立方體計算優(yōu)化方法。實驗結(jié)果表明算法對于大數(shù)據(jù)量查詢和歸檔的元數(shù)據(jù)操作效率有明顯的提高。