主題搜索引擎中網(wǎng)絡(luò)蜘蛛搜索策略研究.pdf

1、隨著Web上多元化信息的增長，傳統(tǒng)的搜索引擎，即通用搜索引擎已經(jīng)不能滿足人們對(duì)個(gè)性化信息檢索服務(wù)日益增長的需要。近年來，面向主題的搜索引擎應(yīng)運(yùn)而生，以提供分類更細(xì)致精確、數(shù)據(jù)更全面深入、更新更及時(shí)的因特網(wǎng)搜索服務(wù)。 在主題搜索引擎中，網(wǎng)絡(luò)蜘蛛以何種搜索策略訪問Web，以提高效率，是近年來主題搜索引擎研究中的熱點(diǎn)問題之一。而Web的動(dòng)態(tài)性、異構(gòu)性和復(fù)雜性要求網(wǎng)絡(luò)蜘蛛能夠高效率地實(shí)現(xiàn)Web信息提取，以保證信息的實(shí)時(shí)性和有效性。

2、 該文對(duì)主題搜索引擎中的網(wǎng)絡(luò)蜘蛛搜索策略進(jìn)行了詳細(xì)的分析，在深入分析主題頁面在Web上的分布特征與主題相關(guān)性判別算法的基礎(chǔ)上，提出了一個(gè)面向主題搜索的網(wǎng)絡(luò)蜘蛛模型，對(duì)模型的組織結(jié)構(gòu)進(jìn)行了詳細(xì)闡述。 作為主題網(wǎng)絡(luò)蜘蛛搜索策略的核心部分，主題相關(guān)性判斷算法是網(wǎng)絡(luò)蜘蛛能夠圍繞設(shè)定主題進(jìn)行聚焦檢索的關(guān)鍵。在URL的主題相關(guān)性判別過程中，引入了鏈接文本及相關(guān)鏈接屬性分析，提出了一種新穎的URL主題相關(guān)性剪枝算法-EPR算法。而對(duì)于網(wǎng)頁的