并行網頁抓取系統(tǒng)設計.pdf

1、搜索引擎的出現為用戶及其需要的信息之間建立了一座橋梁。不過，隨著網頁數量的快速增長，搜索引擎已經無法搜索互聯網的所有網頁，對下載的網頁進行及時更新也成了問題。如何在有限的資源下搜索最有價值的網頁，以及如何對網頁進行最有效的更新，已經成為現代搜索引擎的重要研究方向。 本文對搜索引擎的發(fā)展歷史及現代搜索引擎的功能結構進行了介紹，并討論了搜索引擎技術中網頁爬行和更新存在的問題，在分析了現有實現技術優(yōu)劣勢的基礎上設計了具有高度系統(tǒng)靈活性

2、和擴展性的并行網頁抓取系統(tǒng)，實現了網頁的并行快速抓取。 為了保證優(yōu)先抓取高質量的網頁，系統(tǒng)設計了基于網頁鏈接重要性和路徑重要性的啟發(fā)式搜索算法，首先根據上述兩個重要性計算網頁的綜合權重，然后根據網頁的綜合權重大小調整對網頁的爬行順序。爬行器在啟發(fā)式搜索策略的指導下優(yōu)先爬行那些比較重要的網頁，提高了抓取網頁的質量。為了實現網頁庫的高效更新，系統(tǒng)設計了基于貝葉斯的網頁庫更新算法，通過估算網頁變化頻率類別實現網頁庫中網頁的分類更新，提