支持動態(tài)網頁解析的分布式網絡爬蟲系統的設計與實現.pdf

1、網絡爬蟲技術，為獲取互聯網中的數據提供最為便捷的方式，它不僅是傳統搜索引擎公司的底層基礎，也是大數據時代獲取web數據的利器。近年來，隨著互聯網技術的迅猛發(fā)展，web數據呈指數級增長，面對獲取海量web數據的需求，單機網絡爬蟲技術不再實用，因此，采用分布式的網絡爬蟲技術成為獲取海量web數據的先決條件。
　　隨著web前端技術的發(fā)展，反爬蟲技術的增強，系統復雜性的增大，爬蟲爬取數據時還存在一些問題:獲取動態(tài)網頁數據的問題，反網絡爬

2、蟲的問題，集群穩(wěn)定性的問題。這些問題，嚴重影響了爬蟲系統獲取目標數據（用戶所需要的數據）的效率。本文在分布式網絡爬蟲的基礎上，針對這些問題，進行研究并設計解決方案。本文主要工作如下:
　　(1)獲取動態(tài)網頁數據方面:互聯網中存在大量異步加載的動態(tài)網頁數據，這些數據是普通網絡爬蟲不能直接獲取的。目前程序切片方法[21]存在算法復雜度高和精確度低等缺陷，而調用瀏覽器API的方法[15][16]存在爬取效率低的缺陷。本文提出了一種基于規(guī)

3、則庫的方法，將網頁分類處理，可以獲取動態(tài)網頁和靜態(tài)網頁數據，避免了算法復雜度高和精確度低的缺陷，提高了爬取數據效率。
　　(2)應對反網絡爬蟲方面:大多數公司會對其網站的數據進行保護，采用各種技術手段，以防止被肆意抓取數據。目前解決反爬蟲的策略[13][18]，不能應對爬取少量站點中的大量數據。本文設計了IP代理池策略和類人爬取策略，這些策略采用隨機更換代理IP的方法和模仿人訪問目標站點的方法，可以繞過反爬蟲機制。
　　(3

4、)集群穩(wěn)定性方面:復雜的集群系統在長期運行中，可能會出現節(jié)點不能正常工作或者退出集群系統的現象。目前維護集群穩(wěn)定性的策略[15][48]存在功能簡單、丟失任務等缺陷。本文設計了心跳檢測策略和記錄丟失任務策略，通過定時監(jiān)測節(jié)點發(fā)送的各種消息以及檢測丟失的任務，解決節(jié)點不正常工作、掉線以及任務丟失等問題。
　　(4)經濟成本方面:本文設計的爬蟲系統基于靈活訂制的開源框架，可以自由刪減不必要的功能，從而實現輕量級的系統，使得集群節(jié)點可以

5、運行在樹莓派（只有信用卡大小的微型電腦，其系統基于Linux）之上，為搭建集群降低了經濟成本，以便該系統更實用于預算相對緊張的科研機構、以及中小型企業(yè)。
　　最后，通過設置對比實驗，本文設計的40個節(jié)點的分布式爬蟲集群，相比參照實驗的單機40個線程的爬蟲，性能至少提高了3-4倍，成本節(jié)省了30％;在獲取動態(tài)網頁數據方面，設置了本文設計策略和參考文獻策略[15]的對比試驗，實驗表明消耗時間減少了約39％;在系統穩(wěn)定性和反爬蟲方面，設