基于列式存儲的鐵道供電監(jiān)控信息快速查詢與壓縮處理研究.pdf

1、隨著近年來我國電氣化鐵路尤其是高速鐵路的快速發(fā)展，鐵道供電系統(tǒng)的自動化、智能化水平大幅提高，保障鐵道供電系統(tǒng)穩(wěn)定運(yùn)行的調(diào)度監(jiān)控系統(tǒng)也在進(jìn)行綜合自動化升級改造，使得供電監(jiān)控系統(tǒng)容量及規(guī)模不斷擴(kuò)大，并需要大大增加供電監(jiān)控系統(tǒng)采集終端的數(shù)量。而且高速動車組的發(fā)車頻率增加、運(yùn)行速度更快，對高速列車牽引動力設(shè)備的監(jiān)控要求更加嚴(yán)格，同時供電監(jiān)控系統(tǒng)的采樣頻率進(jìn)一步提高，使得監(jiān)控信息量爆炸式增長。僅以當(dāng)前主流故障錄波器為例，故障錄波瞬時數(shù)據(jù)采集量為2

2、.008MB/s，若取2MB/s進(jìn)行計(jì)算，每周將采集1181.25G數(shù)據(jù)，每年將達(dá)到約60.15TB的數(shù)據(jù)量。更何況鐵道供電調(diào)度監(jiān)控系統(tǒng)有大量的信息采集設(shè)備，且服役期很長。
　　面對不斷增長的大數(shù)據(jù)集監(jiān)控信息，現(xiàn)有的監(jiān)控信息處理模式主要采用基于磁盤陣列的硬件設(shè)備，利用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫進(jìn)行管理，存在著存儲能力差、難以擴(kuò)展、處理效率低等問題。若不能有效處理大集監(jiān)控信息，將可能引起調(diào)度監(jiān)控信息的交互困難、通信擁塞，若出現(xiàn)關(guān)鍵故障監(jiān)控信

3、息遲報、漏報或誤報，甚至?xí)?dǎo)致調(diào)度失誤而引發(fā)事故。由于傳統(tǒng)的以行式存儲為主的關(guān)系型數(shù)據(jù)管理技術(shù)處理大集信息的瓶頸，學(xué)術(shù)界對基于列式存儲的數(shù)據(jù)處理技術(shù)開展研究，并且在理論上及各個應(yīng)用領(lǐng)域驗(yàn)證了列式處理的壓縮性能和查詢效率，特別是HBase列式云集群處理模式在一些關(guān)鍵領(lǐng)域已得到重要應(yīng)用。因此，本文針對鐵道供電調(diào)度監(jiān)控系統(tǒng)海量監(jiān)控信息的高效處理，重點(diǎn)研究基于HBase列式云集群的查詢、壓縮及優(yōu)化處理技術(shù)，并基于Brighthouse列存儲引擎

4、實(shí)現(xiàn)監(jiān)控信息的大比率壓縮。
　　本文在理論研究基礎(chǔ)上，以工程數(shù)據(jù)為算例，首先為解決監(jiān)控信息集成引起的監(jiān)控系統(tǒng)兼容性問題，通過設(shè)計(jì)模式實(shí)現(xiàn)監(jiān)控系統(tǒng)的一體化。然后成功構(gòu)建基于HBase云集群的供電調(diào)度監(jiān)控信息處理平臺，并將Phoenix查詢引擎集成到HBase集群實(shí)現(xiàn)并行查詢，考慮索引的優(yōu)化性能，實(shí)現(xiàn)基于協(xié)處理器的二級索引，經(jīng)分析、對比實(shí)驗(yàn)確定監(jiān)控信息的索引優(yōu)化方式并實(shí)現(xiàn)監(jiān)控信息的快速查詢。將無損壓縮融入HBase云集群，進(jìn)行監(jiān)控信息