分布式微信公眾平臺(tái)爬蟲(chóng)系統(tǒng)的研究與應(yīng)用.pdf

1、近幾年來(lái)，移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展對(duì)人們的生活方式產(chǎn)生了極大的影響。微信作為一個(gè)新興的移動(dòng)社交平臺(tái)，已累計(jì)有超過(guò)6億的注冊(cè)用戶。而微信公眾平臺(tái)依托于微信的海量用戶也迅速流行起來(lái)，目前已有注冊(cè)公眾號(hào)賬號(hào)超過(guò)800萬(wàn)，累計(jì)發(fā)布了超過(guò)2億篇文章，對(duì)微信公眾平臺(tái)所發(fā)布的海量信息資源進(jìn)行深入研究具有重大意義。
　　本文基于Scrapy框架設(shè)計(jì)并實(shí)現(xiàn)了針對(duì)微信公眾平臺(tái)的分布式爬蟲(chóng)系統(tǒng)，實(shí)現(xiàn)對(duì)微信公眾平臺(tái)上公眾號(hào)信息和文章信息的爬取，將爬取到的數(shù)據(jù)

2、存儲(chǔ)至單機(jī)MySQL數(shù)據(jù)庫(kù)和FastDFS分布式文件系統(tǒng)中。此后，概要說(shuō)明了基于爬取到數(shù)據(jù)的一種應(yīng)用場(chǎng)景，可為公眾號(hào)用戶提供快速建站的數(shù)據(jù)服務(wù)。
　　首先，對(duì)開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)框架Scrapy的整體架構(gòu)、各個(gè)組件模塊和內(nèi)部運(yùn)行機(jī)制進(jìn)行深入研究。針對(duì)它目前僅支持單機(jī)爬取的不足，對(duì)其進(jìn)行擴(kuò)展，基于Redis數(shù)據(jù)庫(kù)的有序集合重新實(shí)現(xiàn)了調(diào)度器模塊，使其可以支持多爬蟲(chóng)節(jié)點(diǎn)的主從式分布式爬取。
　　其次，基于改進(jìn)后的Scrapy框架，通過(guò)分析

3、微信公眾平臺(tái)的網(wǎng)頁(yè)組成結(jié)構(gòu)及特性，確定了爬蟲(chóng)程序的爬取流程及策略，進(jìn)而定制開(kāi)發(fā)了系統(tǒng)的爬蟲(chóng)模塊；確定將爬取到的體積較小的字符串?dāng)?shù)據(jù)存入MySQL數(shù)據(jù)庫(kù)、將體積較大的文件數(shù)據(jù)存入FastDFS分布式文件系統(tǒng)的存儲(chǔ)原則，進(jìn)而定制開(kāi)發(fā)了系統(tǒng)的流水線模塊；通過(guò)設(shè)計(jì)一個(gè)“公眾號(hào)最近爬取時(shí)間記錄隊(duì)列”，實(shí)現(xiàn)對(duì)公眾號(hào)的增量式爬取。
　　再次，基于以上的設(shè)計(jì)，完成具體程序代碼的編寫(xiě)及測(cè)試，對(duì)系統(tǒng)進(jìn)行部署運(yùn)行。運(yùn)行結(jié)果表明，系統(tǒng)中多個(gè)爬蟲(chóng)節(jié)點(diǎn)能夠協(xié)