Inar——一個并行爬蟲的設計與實現.pdf

1、隨著Internet上信息量的迅速增長，搜索引擎已經成為人們檢索網上信息的主要手段，是互聯(lián)網上人們獲取信息最重要的方式之一。網絡爬蟲是搜索引擎中負責采集信息的模塊。由于Internet上信息數量大、更新和增長速度快的特點，使得搜索引擎需要一個極為高效的網絡爬蟲為其采集信息，使其能夠為用戶提供全面、及時的查詢結果。為了滿足以上需要，各大搜索引擎多采用在大規(guī)模集群系統(tǒng)上并行運行的爬蟲系統(tǒng)來抓取信息。
　　本課題研究的目的在于為Inar

2、（InformationgNavigationandRetrieval）搜索引擎設計并實現一個在多機上并行運行的網絡爬蟲，為Inar搜索引擎在信息抓取方面提供高效的支持。探索并研究并行爬蟲體系結構。
　　本文概要介紹了搜索引擎的發(fā)展歷史和工作原理，網絡爬蟲和搜索引擎的關系以及工作原理。介紹了網絡爬蟲涉及到的相關技術。詳細分析了Inar爬蟲的設計思想和體系結構，分析了爬蟲各模塊的功能和作用以及實現策略。本文的研究內容主要包括以下幾個

3、方面：
　　(1)通過分析需求，提出Inar爬蟲的并行體系結構。
　　(2)通過分析并行體系結構中各個模塊需要完成的任務，給出各個模塊的設計思想和實現策略，實現了并行爬蟲。
　　(3)通過實際測試檢驗并行爬蟲實際工作效率。
　　(4)展望未來的發(fā)展方向，分析現有系統(tǒng)存在的問題。
　　通過本文中設計和實驗得到的結論，Inar并行爬蟲的設計與實現已經較好地完成了預定目標，并且正在為Inar搜索引擎提供信息抓取服