垂直搜索引擎中的主題爬蟲(chóng)技術(shù)研究.pdf

1、隨著Internet的迅猛發(fā)展，網(wǎng)絡(luò)上的信息呈現(xiàn)爆發(fā)式的增長(zhǎng)。通用搜索引擎已經(jīng)不能滿足人們對(duì)于個(gè)性化信息的需求，此時(shí)，面向特定領(lǐng)域的垂直搜索引擎應(yīng)運(yùn)而生。垂直搜索引擎可以滿足特定領(lǐng)域、人群的特定需求，能夠?yàn)橛脩籼峁└哔|(zhì)量、個(gè)性化的信息。主題爬蟲(chóng)是垂直搜索引擎中的重要組成部分。主題爬蟲(chóng)是根據(jù)用戶定制的主題，智能的爬行網(wǎng)絡(luò)上的主題相關(guān)資源，過(guò)濾主題無(wú)關(guān)資源，為垂直搜索引擎提供了數(shù)據(jù)來(lái)源。
　　 本文分析了主題爬蟲(chóng)的系統(tǒng)結(jié)構(gòu)、技術(shù)原理

2、，重點(diǎn)討論了爬蟲(chóng)的主題表達(dá)、頁(yè)面的主題相關(guān)性分析和主題搜索算法。本文的主要研究工作如下:
　　 1)在主題表達(dá)方面，基于關(guān)鍵詞集合的主題表達(dá)不全面、精度不高，對(duì)此，本文提出了一種基于關(guān)鍵詞動(dòng)態(tài)擴(kuò)充的表示方法。首先，需要構(gòu)建一個(gè)基本的關(guān)鍵詞集合;其次，本文提出了一種基于位置的TF-IDF(Term Frequency-Inverse Document Frequency)加權(quán)算法，根據(jù)文本在網(wǎng)頁(yè)中的位置進(jìn)行加權(quán)，可以提取網(wǎng)頁(yè)的特征

3、詞;最后，在爬蟲(chóng)爬行的過(guò)程中，利用頁(yè)面與主題的相似度和單詞匹配頻率等信息擴(kuò)充特征詞到主題庫(kù)集合中，進(jìn)而提升主題表達(dá)精度和覆蓋面。
　　 2)本文分析了Shark Search搜索算法，針對(duì)該算法在有些方面的不足進(jìn)行了改進(jìn)。在SharkSearch算法中，主題爬行策略采用的是鏈接上下文信息，但是，網(wǎng)頁(yè)中的鏈接上下文信息經(jīng)常充斥著噪音，反而會(huì)干擾鏈接的預(yù)測(cè)。本文提出利用URL字符本身的信息來(lái)替代鏈接上下文信息。因?yàn)閁RL字符串能代表

4、其指向的網(wǎng)頁(yè)內(nèi)容，本文通過(guò)分析URL字符串的結(jié)構(gòu)，得到一些啟發(fā)式信息，利用這些信息可以將URL字符串“翻譯”為可識(shí)別的文本信息，有利于計(jì)算它們與主題的相似度。此外，Shark Search算法是貪婪的，因此，很難在Web圖中找到全局最優(yōu)解，本文引入了隧道分析技術(shù)來(lái)解決Shark Search算法的貪婪性問(wèn)題。
　　 本文綜合基于關(guān)鍵詞動(dòng)態(tài)擴(kuò)充的主題爬行算法和改進(jìn)的Shark Search算法，將主題表示和主題預(yù)測(cè)結(jié)合起來(lái)，從整個(gè)