基于SVM的網絡爬蟲檢測研究與實現.pdf

1、隨著搜索引擎技術的飛速發(fā)展,在搜索引擎中承擔數據采集、數據發(fā)現任務的網絡爬蟲日益成為互聯網上不可忽視的問題。這些爬蟲常常在我們毫不知情的情況下爬取信息,一些敏感信息、用戶隱私或者機密信息通過網絡爬蟲被搜索引擎公布于網上,引起嚴重的信息安全問題。同時,網絡爬蟲頻繁大量的訪問請求往往會給目標網站服務器帶來巨大的處理負擔和訪問流量,一些野蠻粗糙的爬蟲算法甚至會循環(huán)反復抓取信息,行成對服務器的拒絕服務攻擊。因此,如何檢測和發(fā)現網絡爬蟲,有效減少

2、其對網絡安全的影響,已成為網絡安全研究中的一個重要課題,對保護用戶隱私、保障數據安全及網站的正常運行都有著重要意義。
　　 本文首先從網絡爬蟲的工作原理及爬行策略出發(fā),對網絡爬蟲的行為特征進行了細致的研究,提取出能夠完整描述WEB訪問會話的矢量。然后運用支持向量機的分類算法進行網絡爬蟲與人類訪問的分類判別,提出了基于RBF內核的SVM爬蟲檢測算法。設計實現了WEB—CIS爬蟲檢測系統(tǒng),并對其進行了測試分析。
　　 本文的

3、研究內容和創(chuàng)新點主要包括以下幾個方面:
　　 (1)針對網絡爬蟲的行為特征,對Web日志進行聚類分析,提取出能夠標記Web訪問會話的特征向量,并對此作出改進,給出了特征向量LFCIS權值的計算方法及改進的權值公式。
　　 (2)分析了支持向量機的分類算法原理,提出了基于支持向量機的爬蟲檢測算法,設計了基于RBF內核的SVM分類器,用于網絡訪問會話特征向量的分類,取得了優(yōu)于其它爬蟲檢測算法的效果。
　　 (3)在基

4、于支持向量機的爬蟲檢測算法的基礎上設計實現了WEB-CIS爬蟲檢測系統(tǒng),并對其系統(tǒng)架構及Access Cluster、Classifier Training、Testing等模塊設計進行了詳細描述。
　　 (4)分析了WEB爬蟲檢測系統(tǒng)的評價標準,并對WEB-CIS爬蟲檢測系統(tǒng)進行了實驗與測試,比較了WEB-CIS爬蟲檢測系統(tǒng)與其它幾種WEB爬蟲檢測方法在同一基準數據集上檢測WEB爬蟲的能力。實驗結果顯示本文的方法明顯優(yōu)于其他爬