面向垂直搜索引擎的主題爬蟲(chóng)方法研究.pdf

1、隨著互聯(lián)網(wǎng)信息的急劇增長(zhǎng)，以“廣、泛、深”為特點(diǎn)的通用搜索引擎返回的查詢結(jié)果已經(jīng)不能夠滿足不同領(lǐng)域、不同背景的用戶查詢特定主題信息的需求，因此垂直搜索引擎應(yīng)運(yùn)而生。
　　作為垂直搜索引擎的核心組成部分——主題爬蟲(chóng)抓取網(wǎng)頁(yè)的方法直接影響了垂直搜索引擎的性能。傳統(tǒng)的主題爬蟲(chóng)方法多基于特征詞集來(lái)描述主題，忽視了特征詞之間的語(yǔ)義關(guān)系，降低了對(duì)主題的描述性；網(wǎng)頁(yè)分塊只提取了相關(guān)文本塊，而沒(méi)有考慮相關(guān)鏈接塊；候選鏈接優(yōu)先級(jí)預(yù)測(cè)多數(shù)只考慮文字內(nèi)

2、容評(píng)價(jià)或鏈接結(jié)構(gòu)評(píng)價(jià)中的一種，對(duì)于所有候選鏈接優(yōu)先級(jí)要么設(shè)為統(tǒng)一的值，要么分別進(jìn)行相關(guān)性計(jì)算，計(jì)算量較大；傳統(tǒng)的隧道技術(shù)會(huì)導(dǎo)致主題不相關(guān)的網(wǎng)頁(yè)數(shù)急劇增長(zhǎng)，影響主題爬蟲(chóng)的準(zhǔn)確率。針對(duì)以上不足，提出一種基于主題相關(guān)概念和綜合價(jià)值的主題爬蟲(chóng)方法，主要包括：
　　1)通過(guò)ODP的分類樹(shù)獲取主題相關(guān)概念集合，然后結(jié)合主題描述文檔建立主題向量來(lái)描述主題，考慮了主題概念的相關(guān)概念，增強(qiáng)了主題的描述性。
　　2)利用網(wǎng)頁(yè)分塊來(lái)過(guò)濾噪聲，根據(jù)

3、不同類型的網(wǎng)頁(yè)，提取不同的相關(guān)塊文本來(lái)計(jì)算主題相關(guān)性，很好地解決了由于噪聲信息的影響而導(dǎo)致的網(wǎng)頁(yè)主題相關(guān)性計(jì)算不準(zhǔn)確。
　　3)用文字內(nèi)容和R-HITS算法相結(jié)合的方法預(yù)測(cè)候選鏈接優(yōu)先級(jí)。提取網(wǎng)頁(yè)分塊后的相關(guān)鏈接塊，將其中的鏈接作為候選鏈接，并將其劃分為高相關(guān)鏈接、低相關(guān)鏈接、普通鏈接三個(gè)等級(jí)，將高相關(guān)鏈接的優(yōu)先級(jí)賦為最大值，直接丟棄低相關(guān)鏈接，對(duì)于普通鏈接則用網(wǎng)頁(yè)內(nèi)容文本、塊文本、錨文本以及由R-HITS算法計(jì)算出的鏈接結(jié)構(gòu)分?jǐn)?shù)

4、四個(gè)要素來(lái)預(yù)測(cè)其優(yōu)先級(jí)。
　　4)在隧道技術(shù)的基礎(chǔ)上，將所有主題不相關(guān)的網(wǎng)頁(yè)URL插入不相關(guān)URLs隊(duì)列，隧道穿越時(shí)如果隊(duì)列中相同站點(diǎn)的URL個(gè)數(shù)超過(guò)上限值，則不再將此站點(diǎn)中URL加入到隊(duì)列，這樣緩解了主題不相關(guān)網(wǎng)頁(yè)急劇增加的問(wèn)題。
　　最后，將準(zhǔn)確率和信息量總和作為評(píng)價(jià)指標(biāo)，論證了本文提出的主題爬蟲(chóng)方法相對(duì)于其它方法的優(yōu)勢(shì)。實(shí)驗(yàn)結(jié)果表明，本文提出的主題爬蟲(chóng)方法有更高的準(zhǔn)確率和信息量總和。此方法在垂直搜索引擎的主題網(wǎng)頁(yè)采集方