面向大規(guī)模雷電信息的數(shù)據(jù)庫存儲與管理.pdf

1、隨著雷電探測站點的增多以及長期對雷電信息的監(jiān)測，中心站實時定位系統(tǒng)數(shù)據(jù)庫遇到了新的挑戰(zhàn)。雷電數(shù)據(jù)是進(jìn)行計算和研究的重要依據(jù)，面對突發(fā)性強(qiáng)的大規(guī)模數(shù)據(jù)，如果沒有高效快速的存取方法將破壞整體后期數(shù)據(jù)處理的實時性。本文從數(shù)據(jù)的加載存儲、數(shù)據(jù)庫管理組織以及數(shù)據(jù)備份和恢復(fù)等方面來進(jìn)行研究，保證數(shù)據(jù)的實時性和有效性，主要內(nèi)容如下：
　　第一，實現(xiàn)了數(shù)據(jù)庫的高效實用存儲設(shè)計。針對海量雷電信息處理的需求，通過分析數(shù)據(jù)庫高速加載工具SQL*LOAD

2、ER，提出了自動定時批量并行數(shù)據(jù)加載的方法。首先對數(shù)據(jù)進(jìn)行解析，然后實現(xiàn)多級并行加載。整個應(yīng)用程序在VC平臺開發(fā)完成，在數(shù)據(jù)庫服務(wù)器端自動定時值班。
　　第二，制定了基于分區(qū)的實時數(shù)據(jù)與歷史數(shù)據(jù)的分離存儲策略。當(dāng)數(shù)據(jù)對定位計算系統(tǒng)可用后，為減少查詢分析中的數(shù)據(jù)量和實現(xiàn)數(shù)據(jù)的高效管理，根據(jù)數(shù)據(jù)的保活期將實時數(shù)據(jù)和歷史數(shù)據(jù)分離，并按照不同的時間粒度進(jìn)行分區(qū)操作。
　　第三，實現(xiàn)了對數(shù)據(jù)庫性能調(diào)整和優(yōu)化。本文首先對數(shù)據(jù)庫系統(tǒng)隨著數(shù)

3、據(jù)量增大所面臨的問題進(jìn)行了總結(jié)，并使用性能監(jiān)測工具分析數(shù)據(jù)庫運行狀態(tài)。以此為基礎(chǔ)，進(jìn)行了綜合查找分析，主要在SQL語句、磁盤I/O、數(shù)據(jù)庫參數(shù)配置和分區(qū)轉(zhuǎn)換等方面提出了優(yōu)化方法和策略。
　　第四，完成了數(shù)據(jù)庫的備份和恢復(fù)設(shè)計。通過對數(shù)據(jù)庫備份與恢復(fù)方法的研究以及RMAN的工作機(jī)制深入分析，提出了雷電數(shù)據(jù)庫在線多級備份策略。根據(jù)不同的時間頻率和時間點，對不同的數(shù)據(jù)對象進(jìn)行自動、增量備份。該方法可以有效的減少數(shù)據(jù)備份時間，降低備份操作