搜索引擎中主題網絡爬蟲的研究與設計.pdf

1、隨著互聯(lián)網技術的迅猛發(fā)展，浩瀚的網絡信息與人們獲取真正所需信息能力之間的矛盾越來越突出，這就需要搜索引擎技術的支持。然而面臨互聯(lián)網上呈幾何級數(shù)增長的資源，采集方面已經面臨著索引規(guī)模、更新速度以及個性化需求等多方面的挑戰(zhàn)，通用搜索引擎再也不能滿足人們對個性化、專業(yè)化信息檢索服務不斷增長的需要，建立面向特定領域的主題搜索引擎已經成為搜索引擎新的發(fā)展方向，主題搜索引擎被稱為第四代搜索引擎。作為主題搜索引擎中占基礎核心地位的主題爬蟲的研究已經成

2、為網絡數(shù)據(jù)挖掘領域的研究熱點。
　　 本論文主要圍繞主題爬蟲進行研究，通過分析主題爬蟲相關算法，在Heritrix基礎上擴展下載邏輯，使爬蟲采集的頁面更向主題靠攏。主題爬蟲是一種特殊的網絡爬蟲，其主要目標是在有限的時間內盡可能多地抓取與設定主題相關的網頁，盡可能少的抓取與主題無關或低質量的網頁。主要的研究工作包括：
　　 ①、研究了主題爬蟲的基本結構及相關理論，深入分析了主題爬蟲的相關技術和關鍵算法，設計與實現(xiàn)了一種基于

3、模擬退火算法搜索策略的主題爬蟲——SAS-Crawler。
　　 ②、在計算頁面的主題相關度方面，通過對頁面的結構進行分析，根據(jù)不同的標簽在頁面中的位置不同來分配不同的權重，從而使頁面的主題相關度計算更加準確。
　　 ③、在預測鏈接URL所指的目標頁面與主題的相關度方面。綜合考慮了多方面的啟發(fā)信息。如鏈接文本、鏈接上下文信息、父頁面的主題相關度以及鏈入鏈接數(shù)。由于同時考慮了內容和鏈接結構的影響，所以既避免了“主題漂移”，

4、又增大了搜索空間。
　　 ④、在鏈接選擇方面，本文使用了基于模擬退火機制的鏈接選擇策略。由于主題網頁的“隧道”現(xiàn)象，導致了不相關網頁之后的相關頁面不容易被搜索到。也就是說即便當前頁面與主題不相關，此頁面中的鏈接所指的目標網頁也有可能是主題相關的。通過使用模擬退火機制的鏈接選擇策略可以很好的限制局部最優(yōu)，下載更多的主題相關網頁。
　　 ⑤、研究了開源網絡爬蟲Heritrix，并在Heritrix的基礎上進行了一些改進。增加