基于主題策略的網(wǎng)絡(luò)爬行器算法研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，人們越來越多地通過搜索引擎來實現(xiàn)信息的獲取。從海量數(shù)據(jù)中獲取信息越來越困難，搜索引擎最核心的技術(shù)是網(wǎng)絡(luò)爬行器方法，對網(wǎng)絡(luò)爬行器的研究、改進成為關(guān)鍵。為解決搜索引擎遇到的諸多難題,已經(jīng)產(chǎn)生了目錄搜索引擎、通用搜索引擎、元搜索引擎、主題搜索引擎、人工智能搜索引擎等研究領(lǐng)域。
　　本論文介紹了搜索引擎的組成及網(wǎng)絡(luò)爬行器的主要原理，結(jié)合網(wǎng)頁評價方法分析了基于主題策略的網(wǎng)絡(luò)爬行器技術(shù)和網(wǎng)頁隧道穿越技術(shù)，對比闡述分析了現(xiàn)

2、有的網(wǎng)絡(luò)爬行器的關(guān)鍵算法，如Pagerank算法、HITS算法、Fish Search算法、Shark Search算法、Best First算法、A*算法等。在現(xiàn)有的算法基礎(chǔ)上，提出新的一種評價網(wǎng)頁重要性的方法，將網(wǎng)頁鏈接分析和內(nèi)容相關(guān)度結(jié)合起來，構(gòu)造網(wǎng)頁核心度公式和網(wǎng)頁輻射空間，并嘗試將網(wǎng)頁輻射空間與隧道穿越技術(shù)結(jié)合起來，并進行了數(shù)學(xué)推理證明，給出了幾個關(guān)于搜索的定理證明，提出了一種基于主題策略的啟發(fā)式搜索蛙跳算法。最后，利用一種通

3、用的主題爬行器搜索策略性能評價系統(tǒng)進行了實驗論證，對比分析了現(xiàn)有算法與啟發(fā)式搜索蛙跳算法性能。
　　本論文創(chuàng)新之處首先在于提出了新的網(wǎng)頁輻射空間的概念，將傳統(tǒng)的網(wǎng)頁重要度計算方法PAGERANK與HITS進行結(jié)合，文本內(nèi)容的相似度計算方法仍然作為分析評估網(wǎng)頁內(nèi)容的重要手段。網(wǎng)頁核心度具有更加廣泛的意義，相比單一的網(wǎng)頁鏈接數(shù)計算或網(wǎng)頁內(nèi)容相似度計算，雖然計算量增加了，但是搜索范圍卻大大縮小了，搜索精度也相應(yīng)提高，滿足了主題搜索的性能

4、要求。第二個創(chuàng)新工作是對網(wǎng)頁隧道穿越算法的研究。因為局部信息可能被淹沒在全局信息之中，傳統(tǒng)主題爬行算法沒有區(qū)分全局相關(guān)性與局部相關(guān)性，將一個訓(xùn)練好的分類器作用到比其更寬泛的主題網(wǎng)頁上，通常會得到不相關(guān)的判斷結(jié)果。本論文將網(wǎng)頁隧道穿越分為兩種類型：主題相關(guān)隧道穿越（connected tunneling）和主題非相關(guān)隧道穿越（non-connected tunneling），并提出了相應(yīng)的算法。第三個創(chuàng)新之處是將啟發(fā)式搜索A*算法應(yīng)用到主