基于模板檢測的違法網站識別.pdf

1、隨著互聯網技術的快速發(fā)展，傳統(tǒng)的違法犯罪活動不斷借助新技術改頭換面，死灰復燃，對我國經濟發(fā)展以及社會穩(wěn)定構成極大威脅。公安部投入了大量人力來打擊違法網絡活動，但主要依靠民眾舉報和人工篩選，耗時耗力。目前主流的違法網站自動識別技術有黑名單、靜態(tài)分析和動態(tài)檢測。黑名單可提供快速便捷的可疑網址查詢服務，但維護成本高；靜態(tài)分析理論完備，技術成熟，但數據源限于靜態(tài)網頁數據，實時性不高；動態(tài)檢測主要針對網站掛馬，對于常見的詐騙、賭博類網站無效。所以

2、目前急需實用的違法網站自動識別技術，能快速、高精度地從海量網站中識別出常見違法網站，從而達到打擊網絡違法犯罪的目的。
　　針對上述現狀，本文提出并實現了基于模板檢測的違法網站自動識別方法和技術。該方法從檢測網站模板的角度出發(fā)，結合HTTP POST特征提取、相似度模型、網站聚類、模板檢測等多種技術，從海量網站中抽取違法網站模板，快速準確地識別違法網站，同時滿足性能要求。
　　首先，本文分析了常見違法網站的特征，初步提出了三種

3、識別方案。在綜合考慮研究目標和評價指標后，選用基于模板檢測來識別違法網站。接著重點研究該方案的4個關鍵技術：1）模板檢測特征的確定。以網站POST行為作為模板識別的切入點，深入分析POST中所包含的信息，提出POST特征值計算公式。2）網站相似度模型。為了提取違法網站模板和識別違法網站，基于網站 POST特征值提出網站相似度模型。該模型為每個網站構造特征值集合，并采用Jaccard計算兩網站相似度。3）模板抽取。根據網站間的相似度對網站

4、聚類，從中選出違法網站聚類，借鑒TF-IDF算法，提取違法聚類中的關鍵POST特征值作為違法網站模板。4）模板檢測。在相似度模型和違法網站模板的基礎上，判斷未知網站是否屬于違法網站。
　　隨后，本文采用Hadoop、Map-Reduce、Hive和多線程等技術設計并實現了基于模板檢測的違法網站識別系統(tǒng)原型。為了驗證所提方案的有效性，以賭博違法網站為例，進行了三項實驗。實驗結果表明，本文方案能準確地識別出違法網站，通過不斷調整閾值，