基于URL及上下文的主題網(wǎng)絡(luò)爬蟲研究.pdf

1、隨著計(jì)算機(jī)的發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為世界上最大的信息資源庫，通用搜索引擎如百度瀏覽器、谷歌瀏覽器等可以通過關(guān)鍵詞查詢返回大量與關(guān)鍵詞相關(guān)的結(jié)果，能夠滿足大部分用戶的查詢需求。但是對于少數(shù)用戶，他們僅僅對某一個行業(yè)或領(lǐng)域的信息感興趣，所以他們希望搜索引擎僅僅返回自己感興趣的信息。為了獲得與某一個行業(yè)或者領(lǐng)域有關(guān)的信息，利用主題爬蟲算法對通用搜索引擎進(jìn)行改進(jìn)。
　　論文中應(yīng)用實(shí)體分析、網(wǎng)絡(luò)結(jié)構(gòu)分析并加以算法上的改進(jìn)，提出了基于URL及上下

2、文的主題爬蟲算法，本算法對主題進(jìn)行了實(shí)體分析，根據(jù)中文同義詞詞庫將主題描述詞進(jìn)行擴(kuò)展，作為主題相關(guān)度分析算法的輸入。同時本算法將網(wǎng)頁分成若干個信息塊，在網(wǎng)絡(luò)結(jié)構(gòu)與文本內(nèi)容兩個方面分析每個信息塊中的鏈接及本文內(nèi)容，根據(jù)信息塊中主題描述詞的詞頻和權(quán)重信息得出該鏈接在文本內(nèi)容方面的評分。如果評分大于設(shè)定的閾值，則將該鏈接認(rèn)為是與主題相關(guān)的，否則與主題不相關(guān)。實(shí)驗(yàn)結(jié)果充分說明本論文提出的基于URL及上下文的主題爬蟲可以實(shí)現(xiàn)很好的搜索效果。

3、>　　本文主要包括以下幾個研究內(nèi)容:
　　1.在查詢時，為了提高查詢速度使用高性能的全文檢索工具Lucene.Net，將網(wǎng)頁內(nèi)容中的鏈接、錨文本、上下文信息等內(nèi)容創(chuàng)建索引，實(shí)現(xiàn)索引搜索。創(chuàng)建索引雖然會消耗一定的時間，但是創(chuàng)建索引通常在后臺進(jìn)行，而且索引創(chuàng)建之后可以重復(fù)利用，具有一勞永逸的作用。
　　2.本文在實(shí)現(xiàn)中文分詞時，通過比較Lucene.Net提供的各種分詞方法和盤古中文分詞，最終選擇使用盤古分詞。為了實(shí)現(xiàn)良好的分詞