分布式Web Crawler系統(tǒng)研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的爆炸性增長(zhǎng),Web已經(jīng)發(fā)展成為站點(diǎn)遍布全球的巨大信息服務(wù)網(wǎng)絡(luò),根據(jù)CNNIC統(tǒng)計(jì),截至2008年底,僅中國(guó)網(wǎng)頁(yè)總數(shù)就超過160億個(gè),較2007年增長(zhǎng)90％。網(wǎng)頁(yè)的增長(zhǎng)速度與網(wǎng)站的增速基本一致。面對(duì)如此巨大的信息庫(kù),如何快速準(zhǔn)確的檢索到自己需要的信息呢?搜索引擎已經(jīng)成為Web信息獲取的一種最重要的手段。
　　索引網(wǎng)頁(yè)數(shù)量的大小、質(zhì)量是評(píng)價(jià)一個(gè)搜索引擎好壞的重要指標(biāo)。因此,Web爬蟲(Crawler)作為搜索引擎的首要組成

2、部分,是一個(gè)好的搜索引擎的重要基礎(chǔ)。出于商業(yè)機(jī)密的考慮,目前各個(gè)搜索引擎使用的Crawler系統(tǒng)的技術(shù)內(nèi)幕一般都不公開。現(xiàn)有的文獻(xiàn)也僅限于概要性介紹。
　　本文的目標(biāo)就是研究、設(shè)計(jì)并實(shí)現(xiàn)一個(gè)分布式WebCrawler系統(tǒng)。本文通過分析搜索引擎的系統(tǒng)組成引出了文章的重點(diǎn)—Web爬蟲。并以一個(gè)簡(jiǎn)單的爬蟲系統(tǒng)為依托,詳細(xì)分析了Web爬蟲的構(gòu)建的基本原理。通過研究爬蟲系統(tǒng)的抓取策略、重訪策略、禮貌性問題等,進(jìn)一步深入分析了爬蟲的核心工作原

3、理。本文設(shè)計(jì)了具有實(shí)用性的分布式WebCrawler體系結(jié)構(gòu),提出一種分布式合作抓取算法解決爬蟲分布式抓取難題,并提出了一種改進(jìn)的大規(guī)模網(wǎng)頁(yè)存儲(chǔ)結(jié)構(gòu),能同時(shí)滿足大量的隨機(jī)訪問,以及大量新增網(wǎng)頁(yè)的需要。最后設(shè)計(jì)并開發(fā)分布式WebCrawler系統(tǒng),并對(duì)爬蟲系統(tǒng)的未來給出了展望。
　　本文的具體工作如下:
　　(1)深入研究爬蟲系統(tǒng)的抓取策略其中包括網(wǎng)頁(yè)抓取優(yōu)先策略、不重復(fù)抓取策略,重點(diǎn)分析了網(wǎng)頁(yè)重訪策略以及爬蟲禮貌性問題。

4、r>　　(2)設(shè)計(jì)具有實(shí)用性的分布式WebCrawler體系結(jié)構(gòu),在追求負(fù)載均衡的同時(shí)將系統(tǒng)的通信和管理開銷降到最低。
　　(3)提出一種分布式合作抓取算法,根據(jù)RMI分布式系統(tǒng)的開發(fā)過程,解決爬蟲分布式抓取難題。
　　(4)提出一種改進(jìn)的大規(guī)模網(wǎng)頁(yè)存儲(chǔ)結(jié)構(gòu)Hash-Log,能夠適應(yīng)隨機(jī)訪問及順序訪問的不同需求。
　　(5)設(shè)計(jì)并開發(fā)分布式WebCrawler系統(tǒng),并從性能、可擴(kuò)展性以及負(fù)載均衡等多個(gè)方面分析了爬蟲的運(yùn)