基于MongoDB的光纖傳感海量監(jiān)測數(shù)據(jù)存儲方法研究.pdf

1、隨著現(xiàn)代工業(yè)技術(shù)的快速發(fā)展，重大機(jī)械裝備運(yùn)行狀態(tài)的安全監(jiān)測愈加必要，也成為業(yè)界研究熱點(diǎn)。光纖光柵傳感器以其體積小、重量輕、柔韌性好、耐高溫腐蝕、強(qiáng)抗電磁干擾能力等優(yōu)點(diǎn)，取代傳統(tǒng)電測傳感器，廣泛應(yīng)用于重大機(jī)械裝備狀態(tài)的智能感知與監(jiān)測中。如何為這些海量光纖傳感監(jiān)測數(shù)據(jù)建立高并發(fā)性、高擴(kuò)展性和高可用性的高效存儲系統(tǒng)，為實時監(jiān)測、信息分析和故障分析系統(tǒng)提供穩(wěn)定可靠的數(shù)據(jù)支持，也成為目前人們關(guān)注的關(guān)鍵問題。
　　本文針對基于光纖傳感技術(shù)的重

2、大機(jī)械裝備運(yùn)行狀態(tài)在線監(jiān)測系統(tǒng)的存儲需求，結(jié)合配置管理信息與傳感監(jiān)測數(shù)據(jù)的不同特點(diǎn)，采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫實現(xiàn)數(shù)據(jù)的分離存儲，并設(shè)計實現(xiàn)了多級緩沖機(jī)制以滿足數(shù)據(jù)存儲的高效、實時、精準(zhǔn)性，較好的緩解了內(nèi)存與磁盤I/O的響應(yīng)延遲。本文主要研究工作如下:
　　（1）針對重大機(jī)械裝備運(yùn)行狀態(tài)在線監(jiān)測系統(tǒng)不同功能模塊的應(yīng)用需求，結(jié)合各類數(shù)據(jù)特點(diǎn)，將存儲分為多級緩存、傳統(tǒng)關(guān)系數(shù)據(jù)庫系統(tǒng)和NoSQL分布式數(shù)據(jù)庫系統(tǒng)三個部分。采用

3、多級緩存隊列實現(xiàn)及時、精準(zhǔn)、高效的實時數(shù)據(jù)分析與顯示；采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫作為系統(tǒng)數(shù)據(jù)庫，實現(xiàn)具有高一致性，高結(jié)構(gòu)化特點(diǎn)的配置管理信息的存儲；采用MongoDB作為綜合狀態(tài)數(shù)據(jù)庫，實現(xiàn)海量、非結(jié)構(gòu)化的光纖傳感監(jiān)測數(shù)據(jù)的存儲，為機(jī)械裝備后期生命周期管理打下良好的數(shù)據(jù)基礎(chǔ)。
　?。?）光纖傳感監(jiān)測數(shù)據(jù)的海量、大規(guī)模、高并發(fā)特點(diǎn)勢必對存儲系統(tǒng)的高效、高并發(fā)、高響應(yīng)性能提出較高需求。為協(xié)調(diào)高響應(yīng)需求下高速數(shù)據(jù)接收和低速磁盤I/O延時造成的

4、不一致性，本文設(shè)計并實現(xiàn)了一種高效數(shù)據(jù)接收和多級緩存模型，該模型采用基于UDP通信協(xié)議的多線程接收、Socket緩沖區(qū)調(diào)整機(jī)制來實現(xiàn)數(shù)據(jù)接收和解析的異步處理；采用基于表置換機(jī)制的多線程技術(shù)以及ADO.NET的批處理技術(shù)，實現(xiàn)對數(shù)據(jù)庫讀寫的實時性和準(zhǔn)確性；采用基于生產(chǎn)者-消費(fèi)者算法建立二級數(shù)據(jù)緩存，實現(xiàn)臨界區(qū)并發(fā)讀寫互斥。
　?。?）針對光纖傳感監(jiān)測數(shù)據(jù)海量、小文件、松散結(jié)構(gòu)的特點(diǎn)，本文從研究對比傳統(tǒng)關(guān)系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫的

5、存儲機(jī)制和系統(tǒng)性能著手，進(jìn)行了全面詳盡的可行性分析，從而選擇MongoDB作為最優(yōu)存儲方案，設(shè)計并實現(xiàn)了基于MongoDB的光纖光柵海量傳感監(jiān)測數(shù)據(jù)的存儲模型。同時，根據(jù)傳感監(jiān)測數(shù)據(jù)的海量、只讀的實際應(yīng)用需求，在MongoDB自動分片技術(shù)的基礎(chǔ)上，運(yùn)用基于數(shù)據(jù)操作頻率的均衡算法對 MongoDB高擴(kuò)展性集群進(jìn)行改進(jìn)，采用WebService通用服務(wù)標(biāo)準(zhǔn)，實現(xiàn)了基于MongoDB的平臺獨(dú)立、多用戶差異化、高可擴(kuò)展性的海量數(shù)據(jù)存儲接口。