多源數(shù)據(jù)采集與分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡(luò)安全問題越來越嚴(yán)重，大量的網(wǎng)絡(luò)攻擊監(jiān)控?cái)?shù)據(jù)被采集下來等待分析。這些數(shù)據(jù)以文本形式被記錄下來，僅靠人工分析是一項(xiàng)不可能完成的工作。因此急需一套自動化分析系統(tǒng)來對數(shù)據(jù)定位、統(tǒng)計(jì)、維度計(jì)算等。
　　本系統(tǒng)是一個數(shù)據(jù)倉庫系統(tǒng)，主要有兩大類數(shù)據(jù)：原始數(shù)據(jù)和IP地址庫（簡稱“IP庫”）數(shù)據(jù)。這兩類數(shù)據(jù)都具有“多源”屬性。原始數(shù)據(jù)的多源性體現(xiàn)在來自于不同的采集系統(tǒng)，且類型不同、格式不同；IP庫數(shù)據(jù)的多源性體現(xiàn)在三層IP

2、庫模型。原始數(shù)據(jù)含有基本屬性：SourIP(源IP，受攻擊方)和DestIP(目的IP，攻擊方)，IP庫數(shù)據(jù)就是對其進(jìn)行定位。這就是系統(tǒng)的核心功能。
　　面對海量的原始數(shù)據(jù)，又要求快速精確的維度分析，本文描述了為何要采用分布式系統(tǒng)（Apache Hadoop）加關(guān)系型數(shù)據(jù)庫（SQL Server）的復(fù)合架構(gòu)，以及如何利用這些技術(shù)來建設(shè)數(shù)據(jù)倉庫。確切的說，就是ETL的建模和實(shí)施是如何進(jìn)行的。
　　首先是原始數(shù)據(jù)的ETL。采集原

3、始文件裝載到Hadoop的HDFS以后，調(diào)用API抽取其數(shù)據(jù)保存到Hive數(shù)據(jù)倉庫中，同時編寫Map-Reduce程序?qū)δ壳耙延械母鞣N格式區(qū)分處理，清洗，歸并，最終加工為“一致”的數(shù)據(jù)，這里所謂的一致的數(shù)據(jù)就是“五元組模型”。
　　其次是IP庫數(shù)據(jù)的ETL。五元組數(shù)據(jù)以文件的形式傳遞給SQL Server。SQL Server除了要裝載五元組數(shù)據(jù)，還有一類重要的字典數(shù)據(jù)，就是IP庫數(shù)據(jù)。本文描述了如何建設(shè)“三層IP庫模型”來滿足不

4、同關(guān)注度的IP精確定位。每一層IP庫都有關(guān)聯(lián)的建立全國的行政區(qū)劃庫與之對應(yīng)，該庫至少包含省（直轄市）、市（區(qū)）、區(qū)（縣）三級的地理區(qū)劃。把采集來的IP庫按照三級區(qū)劃整理好是ETL工作量較大的部分。
　　數(shù)據(jù)倉庫建好以后，采用B/S架構(gòu)的Web界面調(diào)用T-SQL（SQL Server提供的基于SQL的編程語言）存儲過程對數(shù)據(jù)倉庫中的內(nèi)容進(jìn)行維度查詢和分析，同時完成業(yè)務(wù)系統(tǒng)的功能：用戶操作、用戶權(quán)限、用戶管理、數(shù)據(jù)可視化等。提供即席查