基于P2P的被動式網(wǎng)絡(luò)爬蟲系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)上的信息也成幾何級數(shù)爆炸增長，同時用戶對信息的需求也越來越高，他們希望搜索引擎提供最新的數(shù)據(jù)，最符合要求的信息。傳統(tǒng)網(wǎng)絡(luò)爬蟲作為提供搜索引擎原始信息的最基本途徑，其性能已經(jīng)幾乎達到瓶頸，逐漸無法適應(yīng)新型的網(wǎng)絡(luò)應(yīng)用需要。
　　本文研究了現(xiàn)有的網(wǎng)絡(luò)爬蟲模型及其目前的研究方向，介紹了各種對傳統(tǒng)網(wǎng)絡(luò)爬蟲的改進方法，并對各種方法的優(yōu)缺點進行了詳盡的分析，總結(jié)了爬蟲面臨的主要挑戰(zhàn)，如網(wǎng)頁更新收錄慢，網(wǎng)站訪問壓力大，無法

2、處理多媒體文件等。為解決這些問題，本文提出一種基于P2P的被動式爬蟲系統(tǒng)，從根本上摒棄了傳統(tǒng)爬蟲的工作模式，它通過客戶端-服務(wù)器模式由網(wǎng)站推送數(shù)據(jù)，搜索引擎只負責(zé)接收，并且借助于智能體技術(shù)和P2P傳輸，提高了搜索引擎原始網(wǎng)頁獲取能力。
　　該被動式爬蟲分為爬蟲客戶端和爬蟲服務(wù)器兩部分，其主要功能有：客戶端和服務(wù)器相互發(fā)現(xiàn)及注冊，客戶端監(jiān)視網(wǎng)站目錄更新，客戶端預(yù)處理數(shù)據(jù)并安排傳輸時間，客戶端與服務(wù)器數(shù)據(jù)傳輸。本文在全能體技術(shù)平臺的層