基于Spark框架的惡意域名實時檢測系統(tǒng)的設計與實現(xiàn).pdf

1、域名系統(tǒng)是當前互聯(lián)網(wǎng)重要的基礎設施之一，是將IP地址和域名互相對應的一個分布式數(shù)據(jù)庫，大量的網(wǎng)絡服務依賴于域名服務來開展，使互聯(lián)網(wǎng)用戶更加方便地訪問各種網(wǎng)絡資源。域名系統(tǒng)本身不提供對惡意域名的檢測，因此惡意域名就能夠利用域名系統(tǒng)來實現(xiàn)惡意的行為。
　　傳統(tǒng)的惡意域名檢測方法是通過域名黑名單、逆向技術、數(shù)據(jù)挖掘等方法來檢測惡意域名，但隨著越來越多新的網(wǎng)絡技術的應用，惡意域名的產(chǎn)生和使用也變得越來越靈活，傳統(tǒng)的檢測方法不能有效的檢測也

2、這些惡意域名。但是在惡意域名的檢測中,可以分析DNS(Domain Name System)日志記錄來找出惡意域名不同于善意域名的特征,通過從DNS日志中提取出域名、訪問時間、ttl值和ip地址，然后計算出相應的特征值，如域名生存期、域名對應國家數(shù)，域名對應域名數(shù)等特征值。使用大數(shù)據(jù)技術Spark可以快速地從海量DNS日志中提取出域名的相關屬性，并計算出對應的特征值來形成樣本集。利用Spark框架實現(xiàn)對惡意域名實時檢測的系統(tǒng)，系統(tǒng)包括了

3、三個模塊，抓包模塊、Spark集群模塊和監(jiān)控模塊。同時在Spark系統(tǒng)上實現(xiàn)C4.5算法，用該算法來訓練樣本來建立檢測模型，并實現(xiàn)對域名的實時檢測。
　　搭建了Spark和Hadoop集群，同時用Spark和Hadoop對DNS日志進行分析，結(jié)果表明Spark的計算速度明顯快于Hadoop。也對Spark實時接收域名數(shù)據(jù)的能力進行了測試，表明Spark能快速獲取實時的數(shù)據(jù)流。最后對系統(tǒng)實時檢測域名的能力進行了測試，通過Spark的