數(shù)據(jù)流聚類及電信數(shù)據(jù)流管理.pdf

1、復旦大學博士學位論文數(shù)據(jù)流降類及電信數(shù)據(jù)流管理姓名：常建龍申請學位級別：博士專業(yè)：計算機軟件與理論指導教師：周傲英200804開銷和快速的數(shù)據(jù)處理能力。同時設計了基于該算法的電信網(wǎng)絡流量分析系統(tǒng)，驗證了其在實際系統(tǒng)中的有效性。2針對Netflow的TopNI口]題，本文提出可以基于數(shù)據(jù)流技術來實現(xiàn)的在線網(wǎng)絡流量監(jiān)控系統(tǒng)SMART。SMART收集多個路由器發(fā)送的NetflowV5或者V9格式的數(shù)據(jù)，并將其轉(zhuǎn)換成用戶定義的監(jiān)控流；以滑動窗口

2、的方式查詢輸出流量構成eWopN頻繁數(shù)據(jù)信息；監(jiān)測網(wǎng)絡流量突變；以可視化的圖形和報表形式顯示結果。SMART先進的數(shù)據(jù)流算法技術基礎和完整的系統(tǒng)框架設計使得它在上海電信真實網(wǎng)絡高效穩(wěn)定地724／]、時運行，處理速度可以達N30000fiows／s，替代了上海電信原有的流量分析系統(tǒng)。3基于PCA(PrincipalComponentsAnalysis)的分析方法，設計并實現(xiàn)了RealMon系統(tǒng)。通過對基向量L的觀察，對網(wǎng)絡SNMP數(shù)據(jù)流進

3、行相關性分析，從而檢測出異常流量，并且不受網(wǎng)絡中毛刺的影響。系統(tǒng)可以實時監(jiān)測數(shù)千條鏈路，利用網(wǎng)絡設備不同端口流量的相關性，可以有效地協(xié)助網(wǎng)管人員發(fā)現(xiàn)網(wǎng)絡中的異常。同時為了提高系統(tǒng)的穩(wěn)定性、降低系統(tǒng)的誤報，RealMon中實現(xiàn)了針對數(shù)據(jù)流的數(shù)據(jù)清洗方法?？傊?，數(shù)據(jù)流處理技術和電信網(wǎng)絡流量分析相結合有著廣闊的發(fā)展前景。本文研究了電信網(wǎng)絡流量分析的三類問題，分別提出從算法、概要數(shù)據(jù)結構到系統(tǒng)實現(xiàn)的完整方案。理論分析和實驗結果表明本文算法適合于