基于云存儲(chǔ)技術(shù)的移動(dòng)分組網(wǎng)監(jiān)測(cè)系統(tǒng)平臺(tái)的研究與應(yīng)用.pdf

1、隨著移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)的日益普及和高速發(fā)展，移動(dòng)分組網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)量越來(lái)越大，原有移動(dòng)分組網(wǎng)監(jiān)測(cè)系統(tǒng)的存儲(chǔ)結(jié)構(gòu)及數(shù)據(jù)處理模式在應(yīng)對(duì)大數(shù)據(jù)時(shí)代龐大的數(shù)據(jù)量上面臨著嚴(yán)重挑戰(zhàn)。如何高效存儲(chǔ)、處理海量數(shù)據(jù)，以及對(duì)海量數(shù)據(jù)進(jìn)行有效信息挖掘是移動(dòng)互聯(lián)網(wǎng)行業(yè)普遍存在的一個(gè)棘手問(wèn)題。Hadoop是一個(gè)開(kāi)源的分布式軟件框架，提供了一個(gè)安全、可擴(kuò)展的分布式文件系統(tǒng)HDFS，可以解決海量數(shù)據(jù)高成本、低性能存儲(chǔ)問(wèn)題;還實(shí)現(xiàn)了一個(gè)并行計(jì)算編程模型Map/Reduce

2、，克服單機(jī)處理海量數(shù)據(jù)吞吐量不足的問(wèn)題。
　　 本文在研究了基于Hadoop實(shí)現(xiàn)的云存儲(chǔ)平臺(tái)的優(yōu)缺點(diǎn)和傳統(tǒng)監(jiān)測(cè)系統(tǒng)自身特點(diǎn)的基礎(chǔ)上，提出了基于云存儲(chǔ)技術(shù)的移動(dòng)分組網(wǎng)監(jiān)測(cè)系統(tǒng)平臺(tái)的架構(gòu)。它具有以下主要特征:首先，以監(jiān)測(cè)系統(tǒng)產(chǎn)生的海量呼叫詳細(xì)記錄CDR文件為處理對(duì)象，提出了分布式文件系統(tǒng)存儲(chǔ)模型。通過(guò)集群大量低廉設(shè)備，將海量CDR文件分布式地存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)上，并備份多個(gè)數(shù)據(jù)副本，由管理節(jié)點(diǎn)統(tǒng)一進(jìn)行分配管理。其次，針對(duì)Hadoop云存

3、儲(chǔ)平臺(tái)存儲(chǔ)大量小CDR文件性能不高的問(wèn)題，設(shè)計(jì)一種基于MapFile小文件合并模型。在CDR文件上傳至HDFS之前先合并壓縮，提高了CDR文件存儲(chǔ)和處理的效率，減小了系統(tǒng)的存儲(chǔ)需求。
　　 最后，重點(diǎn)設(shè)計(jì)了海量數(shù)據(jù)分布式處理模型。該模型底層通過(guò)Map和Reduce函數(shù)實(shí)現(xiàn)海量CDR數(shù)據(jù)的高效并行計(jì)算。利用數(shù)據(jù)倉(cāng)庫(kù)Hive將查詢?nèi)蝿?wù)快速轉(zhuǎn)換為Map/Reduce程序。利用分布式數(shù)據(jù)庫(kù)HBase面向列存儲(chǔ)的特色，對(duì)數(shù)據(jù)處理模型進(jìn)行了

4、優(yōu)化，將相同條件的統(tǒng)計(jì)查詢結(jié)果保存在HBase中，避免再次查詢而浪費(fèi)時(shí)間和資源，優(yōu)化了海量數(shù)據(jù)處理模型。Map/Reduce、Hive和HBase相結(jié)合實(shí)現(xiàn)了云存儲(chǔ)平臺(tái)海量CDR數(shù)據(jù)高效處理。
　　 基于所設(shè)計(jì)的監(jiān)測(cè)系統(tǒng)云存儲(chǔ)平臺(tái)，本文通過(guò)統(tǒng)計(jì)分析和數(shù)據(jù)挖掘兩個(gè)具體應(yīng)用實(shí)例，驗(yàn)證了監(jiān)測(cè)系統(tǒng)云存儲(chǔ)平臺(tái)的功能，并和傳統(tǒng)監(jiān)測(cè)平臺(tái)進(jìn)行多方面性能對(duì)比。從分析結(jié)果可知，本文所設(shè)計(jì)的云存儲(chǔ)平臺(tái)不僅減少海量CDR數(shù)據(jù)的存儲(chǔ)需求，而且提高海量CD