基于Nutch的分布式爬蟲研究與優(yōu)化.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來，互聯(lián)網(wǎng)上的數(shù)據(jù)正在迅速膨脹并變大，數(shù)據(jù)的采集速度越來越不能滿足實(shí)際需要。爬蟲系統(tǒng)需要抓取的網(wǎng)頁數(shù)量巨大，如何高效、穩(wěn)定地抓取網(wǎng)頁非常重要。網(wǎng)頁分布廣及動(dòng)態(tài)變化也使爬蟲系統(tǒng)很難保持本地網(wǎng)頁時(shí)新性，爬蟲需要及時(shí)更新本地網(wǎng)頁，避免網(wǎng)頁失效。
　　本文對Nutch爬蟲進(jìn)行改進(jìn)，將改進(jìn)后的Nutch和Hadoop分布式平臺結(jié)合，設(shè)計(jì)高效、可靠的分布式爬蟲系統(tǒng)。主要研究成果如下：
　　1、Nutch和Hadoop分

2、布式平臺結(jié)合
　　Nutch單機(jī)運(yùn)行時(shí)，受限于單臺機(jī)器存儲及運(yùn)算性能，且易發(fā)生單點(diǎn)故障，穩(wěn)定性差。我們借助Hadoop分布式平臺的優(yōu)點(diǎn)，將Nutch運(yùn)行的各個(gè)步驟提交給Hadoop，使用MapReduce分布式計(jì)算完成，并將數(shù)據(jù)存儲在HDFS上。我們分別對Nutch單機(jī)模式和Nutch分布式模式進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明：對比單機(jī)模式，分布式模式隨著集群中節(jié)點(diǎn)的增多，Nutch爬行的性能會(huì)線性增長；數(shù)據(jù)安全性提高，可靠性增強(qiáng)，節(jié)點(diǎn)間負(fù)

3、載均衡。
　　2、提出Proxy IP動(dòng)態(tài)更換模塊
　　在詳細(xì)分析Nutch抓取網(wǎng)頁數(shù)據(jù)的工作流程后，發(fā)現(xiàn)當(dāng)一個(gè)網(wǎng)站有以IP為依據(jù)的訪問檢測機(jī)制時(shí)，Nutch大規(guī)模訪問很容易被禁止。針對這個(gè)問題，提出Proxy IP動(dòng)態(tài)更換模塊，與Nutch系統(tǒng)結(jié)合，在Nutch爬行被禁止時(shí)，更換Proxy IP，使Nutch能繼續(xù)爬行。經(jīng)過測試，Nutch的爬蟲被禁止爬行得到有效解決。
　　3、網(wǎng)頁更新預(yù)測優(yōu)化
　　Nutch

4、有網(wǎng)頁更新模塊，但網(wǎng)頁更新的參數(shù)需要人為設(shè)定，且對所有網(wǎng)頁有效，很難適應(yīng)海量網(wǎng)頁的差異化。本文提出動(dòng)態(tài)選擇策略來預(yù)測網(wǎng)頁更新周期。在網(wǎng)頁更新歷史數(shù)據(jù)不足時(shí)，通過基于MapReduce的DBSCAN聚類算法來減少爬蟲系統(tǒng)抓取網(wǎng)頁數(shù)量，將樣本網(wǎng)頁的更新周期作為所屬類其它網(wǎng)頁的更新周期；在網(wǎng)頁更新歷史數(shù)據(jù)較多時(shí)，通過對網(wǎng)頁更新歷史數(shù)據(jù)進(jìn)行泊松過程建模較準(zhǔn)確地預(yù)測每個(gè)網(wǎng)頁的更新周期。實(shí)驗(yàn)表明，動(dòng)態(tài)選擇策略節(jié)約了爬蟲的抓取資源，且能較準(zhǔn)確預(yù)測網(wǎng)頁