網(wǎng)絡爬蟲技術在云平臺上的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的不斷發(fā)展，我們獲取信息的途徑逐漸被網(wǎng)絡所替代，但與此同時網(wǎng)絡信息量以驚人的速度在增長，面對這樣海量的數(shù)據(jù)，如何快速、精確的收集到所需數(shù)據(jù)是目前研究的熱點。目前很多公司為了提高抓取效率都采用了分布式網(wǎng)絡爬蟲技術，使用多臺機器來并行的從互聯(lián)網(wǎng)上抓取網(wǎng)絡數(shù)據(jù)。本文設計并實現(xiàn)了一個構建在云平臺上的分布式網(wǎng)絡爬蟲系統(tǒng)，利用云平臺的多種特性來提高網(wǎng)絡爬蟲的性能以及可擴展性。
　　首先，本文針對云平臺的一些特性，以及現(xiàn)有的各種分布式

2、網(wǎng)絡爬蟲系統(tǒng)的局限性，提出了本文的網(wǎng)絡爬蟲系統(tǒng)的總體設計方案，并將系統(tǒng)按模塊劃分為控制節(jié)點模塊、爬蟲節(jié)點模塊和Web管理頁面模塊?？刂乒?jié)點主要負責URL管理以及虛擬機管理，URL管理對新抓取到的URL進行URL標準化和基于Redis的布隆過濾器去重后，將其存儲在Redis的待抓取URL隊列中；虛擬機管理是利用云平臺按需申請資源的特點來動態(tài)調節(jié)爬蟲節(jié)點數(shù)量。爬蟲節(jié)點是真正進行網(wǎng)頁的抓取工作，包括網(wǎng)頁下載、網(wǎng)頁解析和數(shù)據(jù)存儲，針對網(wǎng)頁下載設

3、計了一種哈希鏈表的DNS緩存數(shù)據(jù)結構，以提高網(wǎng)頁下載速度；網(wǎng)頁解析采用模板化功能增強其通用性；數(shù)據(jù)存儲則是將收集到的大量數(shù)據(jù)存儲在云平臺的網(wǎng)盤上。Web管理頁面是可視化的管理整個爬蟲系統(tǒng)，通過Web頁面可創(chuàng)建爬蟲任務、管理爬蟲任務和監(jiān)控爬蟲節(jié)點。
　　其次，在設計的基礎上對本文的網(wǎng)絡爬蟲系統(tǒng)進行了具體的實現(xiàn)。采用了Java語言來開發(fā)本系統(tǒng)的各個功能模塊，控制節(jié)點與爬蟲節(jié)點間的信息交互使用了Socket編程技術。網(wǎng)頁下載模塊使用了H

4、ttpClient組件來獲取網(wǎng)頁數(shù)據(jù)，并設置了多種網(wǎng)頁下載失敗處理措施。網(wǎng)頁解析模塊將正則表達式、XPath和Css Selector進行組合，以鏈式的方式抽取數(shù)據(jù)。Web管理頁面是基于Spring MVC框架和Jetty容器來實現(xiàn)的，使用了JSP、JavaScript、AJAX等Web編程技術。
　　再次，將本文的網(wǎng)絡爬蟲系統(tǒng)部署到實驗室的云平臺上，從功能、性能和可擴展性三個方面對其進行測試，并對測試的結果進行了分析，測試結果表