云環(huán)境下網(wǎng)絡(luò)告警管理系統(tǒng)設(shè)計(jì).pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)的普及、設(shè)備終端的多樣化以及數(shù)據(jù)收集技術(shù)的不斷進(jìn)步，網(wǎng)絡(luò)信息量呈現(xiàn)爆炸式增長的趨勢。傳統(tǒng)基于關(guān)系數(shù)據(jù)庫的網(wǎng)絡(luò)管理軟件，存在著網(wǎng)絡(luò)帶寬消耗大、管理平臺負(fù)荷高、可靠性差等許多問題。本文基于云計(jì)算環(huán)境，重點(diǎn)圍繞網(wǎng)絡(luò)告警數(shù)據(jù)的聯(lián)機(jī)分析處理和關(guān)聯(lián)規(guī)則的挖掘展開研究。
　　首先，面向下一代網(wǎng)絡(luò)管理應(yīng)用，針對現(xiàn)有的網(wǎng)絡(luò)告警分析方法存在的維度單一、效率低下、系統(tǒng)內(nèi)存溢出甚至系統(tǒng)崩潰等問題，提出了一種基于Hive的網(wǎng)絡(luò)告警信息聯(lián)機(jī)分析

2、處理（On-Line Analytical Processing，OLAP）方法。該方法基于Hive數(shù)據(jù)倉庫體系，首先通過實(shí)時(shí)采集的海量網(wǎng)絡(luò)告警數(shù)據(jù)進(jìn)行預(yù)處理后映射到 Hive中，再分別構(gòu)建 N-D方體模型與星型模型進(jìn)而實(shí)現(xiàn)Rollup與Cube操作。該方法在域間設(shè)備存在和不存在這兩種情況下都適用。實(shí)驗(yàn)結(jié)果表明，該方法不僅可以實(shí)現(xiàn)數(shù)據(jù)的大批量上傳，還能從多個(gè)維度揭示隱藏的告警定位知識以及一些有意義的用戶和系統(tǒng)信息，從而為網(wǎng)絡(luò)管理人員提供

3、決策支持。
　　其次，考慮到下一代網(wǎng)絡(luò)管理應(yīng)用中告警數(shù)據(jù)本身具有的海量、冗余、關(guān)聯(lián)等特點(diǎn)，以及現(xiàn)有的PFP算法（基于MapReduce的Frequent-Pattern Growth）存在的內(nèi)存與計(jì)算時(shí)間的雙瓶頸問題，提出了一種新的基于MapReduce的快速挖掘算法。該算法采用結(jié)構(gòu)化存儲的告警數(shù)據(jù)模型，通過簡單掃描數(shù)據(jù)立方體以減少對整個(gè)數(shù)據(jù)庫的重復(fù)掃描，在求取條件模式基時(shí)采用了共享路徑的方式以減少對樹的遍歷次數(shù)，并應(yīng)用MapRe

4、duce框架以實(shí)現(xiàn)并行計(jì)算。實(shí)驗(yàn)結(jié)果證明，該算法運(yùn)行效率高、擴(kuò)展性好且可靠性強(qiáng)。該改進(jìn)算法能找出各設(shè)備檢測狀態(tài)告警之間的關(guān)聯(lián)關(guān)系，減少重復(fù)告警，為設(shè)備維護(hù)和網(wǎng)絡(luò)管理提供依據(jù)。
　　最后，綜合上述基于Hive的告警信息聯(lián)機(jī)分析處理方法和基于MapReduce的快速挖掘算法，設(shè)計(jì)了一個(gè)面向云計(jì)算環(huán)境的告警管理系統(tǒng)，并對網(wǎng)絡(luò)告警管理系統(tǒng)的各個(gè)模塊進(jìn)行了詳細(xì)的設(shè)計(jì)與實(shí)現(xiàn)，具體包括告警的采集、存儲、刷新、分析、挖掘與數(shù)據(jù)交互等。該系統(tǒng)的特點(diǎn)