基于Hadoop技術(shù)的軌道交通MSS系統(tǒng)數(shù)據(jù)存儲應(yīng)用研究.pdf

1、隨著城市軌道交通事業(yè)飛速發(fā)展，軌道交通安全倍受關(guān)注，這必然會對維護(hù)管理提出更高的要求。維護(hù)支持系統(tǒng)應(yīng)運(yùn)而生，成為研究和應(yīng)用的熱點。在維護(hù)管理的過程中，實時監(jiān)測的信號系統(tǒng)數(shù)據(jù)量與日俱增，遠(yuǎn)遠(yuǎn)超出傳統(tǒng)的數(shù)據(jù)庫存儲范疇，常規(guī)的數(shù)據(jù)存儲和數(shù)據(jù)處理方法遇到了瓶頸。云計算Hadoop作為一種新興計算模型，具有超大規(guī)模，高可擴(kuò)展和高可靠性等特點，為上述問題的解決提供了新的思路。
　　本文首先在緒論中闡述了軌道交通MSS維護(hù)支持系統(tǒng)的重要性，以及

2、其與大數(shù)據(jù)結(jié)合會帶來很多增值服務(wù)。其次對MSS維護(hù)支持系統(tǒng)、數(shù)據(jù)存儲技術(shù)和Hadoop的研究現(xiàn)狀進(jìn)行了詳細(xì)的歸納、總結(jié)。通過介紹MSS系統(tǒng)，分析該系統(tǒng)數(shù)據(jù)特點、結(jié)構(gòu)，并且對比分析傳統(tǒng)軟件與Hadoop技術(shù)優(yōu)缺點，進(jìn)一步明確了維護(hù)支持系統(tǒng)在數(shù)據(jù)存儲和查詢方面遇到的困擾，從而確定將Hadoop技術(shù)應(yīng)用到MSS系統(tǒng)中用于可靠存儲、高效查詢和數(shù)據(jù)挖掘分析。
　　針對MSS系統(tǒng)不同的數(shù)據(jù)類型，結(jié)合Hadoop集群技術(shù)以及實際軟硬件實力，本文

3、提出一種基于Hadoop技術(shù)的MSS數(shù)據(jù)存儲設(shè)計。文章先后從存儲整體架構(gòu)，HDFS文件存儲系統(tǒng)，HBase分布式數(shù)據(jù)庫等幾個方面對MSS結(jié)構(gòu)化數(shù)據(jù)存儲進(jìn)行深入研究。首先利用日志收集系統(tǒng)Flume對數(shù)據(jù)進(jìn)行傳輸，總結(jié)了MSS數(shù)據(jù)在HDFS中的存儲方式。其次，設(shè)計基于HDFS的維護(hù)數(shù)據(jù)存儲模塊，舉例說明數(shù)據(jù)在HDFS中是如何讀取和寫入的，最后實現(xiàn)了數(shù)據(jù)存入HDFS系統(tǒng)中。根據(jù)MSS數(shù)據(jù)特點，本文又設(shè)計了MSS數(shù)據(jù)基元的HBase的存儲模型，

4、以具體ZC數(shù)據(jù)為例，建立HBase數(shù)據(jù)邏輯模型和物理模型，并且實現(xiàn)了數(shù)據(jù)寫入HBase數(shù)據(jù)庫中。
　　在理論基礎(chǔ)上，模擬搭建完全分布模式的Hadoop平臺環(huán)境，包括硬件環(huán)境和軟件環(huán)境。對系統(tǒng)性能進(jìn)行分析以及測試Hadoop集群存儲性能，說明Hadoop技術(shù)應(yīng)用到軌道交通MSS系統(tǒng)中是可行的，在數(shù)據(jù)存儲方面比傳統(tǒng)方式占優(yōu)勢，并且數(shù)據(jù)量越大，Hadoop優(yōu)勢越能體現(xiàn)出來。
　　最后，對論文工作進(jìn)行總結(jié)，闡述了該論文的創(chuàng)新點以及文