效用驅(qū)動(dòng)的主題Web挖掘算法研究.pdf

1、Internet的出現(xiàn)和快速發(fā)展,現(xiàn)已成為目前世界上最大的信息資源庫.然而面對(duì)巨大的Web資源庫,用戶若想獲得所需要信息已不再是一件簡單的事情.通用搜索引擎雖然在一定程度上滿足了人們的需要,但由于其通用的性質(zhì),仍不能滿足不同背景、不同目的和不同時(shí)期的Web用戶檢索的需要,用戶從中得到的查詢結(jié)果往往是一個(gè)長長的列表,其中包含了大量重復(fù)信息和不相關(guān)信息,而要找到想要的信息是一件很困難的事情,因此當(dāng)要滿足一些高級(jí)或?qū)I(yè)性的信息檢索要求時(shí),就需

2、要獲得一個(gè)面向特定主題(或者特定領(lǐng)域)的全面的Web頁面集合,為此,針對(duì)主題Web挖掘技術(shù)的研究應(yīng)運(yùn)而生. 通用搜索引擎的局限性在于其試圖索引全部Web并且試圖服務(wù)于涉及所有主題的查詢請(qǐng)求,而面對(duì)的又是如此巨大的Web資源庫,顯然心有余而力不足.面向主題的主題爬蟲是主題Web挖掘的核心技術(shù),主題爬蟲只覆蓋與特定領(lǐng)域相關(guān)的網(wǎng)頁,爬行原則是盡量使爬行相關(guān)頁面數(shù)量最大化,不相關(guān)頁面數(shù)量最小化,這樣它可以搜索的更深,搜索的周期可以更短,

3、更能滿足用戶對(duì)獲取資源的快速、準(zhǔn)確性的要求. 本文主要的研究工作是根據(jù)爬蟲的效用來進(jìn)行技術(shù)分析和研究.在主題搜索中,主題爬蟲以何種搜索策略訪問Web,提高效率,是主題Web挖掘研究的熱點(diǎn)問題之一.而Web的動(dòng)態(tài)性,異構(gòu)性和復(fù)雜性要求主題爬蟲能夠高效率的實(shí)現(xiàn)Web信息提取,保證信息的實(shí)時(shí)性和有效性.本文的主要工作體現(xiàn)在以下幾方面: (1)介紹了通用搜索引擎的基本結(jié)構(gòu)、工作原理、分類及其現(xiàn)狀和局限性,分析了主題Web挖掘的研

4、究背景,任務(wù)及目前研究技術(shù)的進(jìn)展,探討了主題爬蟲關(guān)鍵技術(shù)及其實(shí)現(xiàn)要點(diǎn),并對(duì)通用搜索引擎和主題Web挖掘的關(guān)系進(jìn)行了分析. (2)按照評(píng)價(jià)鏈接價(jià)值所采用方法的不同,對(duì)主題Web挖掘中現(xiàn)有的主題爬蟲搜索策略進(jìn)行了分類,系統(tǒng)分析、并比較了它們的特點(diǎn)和優(yōu)缺點(diǎn),歸納了提高搜索效率的三個(gè)關(guān)鍵因素,考慮到主題Web挖掘?qū)?shù)據(jù)實(shí)時(shí)性、專業(yè)性的要求要遠(yuǎn)遠(yuǎn)高于通用搜索引擎,提出了一種全新的基于索引頁的增量Web信息提取算法,能夠高效快速地發(fā)現(xiàn)Web

5、上新增加的頁面. (3)考慮到基于超鏈接結(jié)構(gòu)的算法和基于向量空間模型的算法各自的局限性和互補(bǔ)性,對(duì)傳統(tǒng)的超鏈接算法進(jìn)行了改進(jìn),提出了一種基于向量空間模型的超鏈接算法.該算法一方面通過分析網(wǎng)頁之間的鏈接關(guān)系得到每篇網(wǎng)頁的入度值和出度值,同時(shí)另一方面又通過錨文本和超鏈接上下文等標(biāo)記文本信息的匹配從而更加客觀和準(zhǔn)確地作出相關(guān)性判斷,具有更好的性能. (4)針對(duì)目前爬蟲效率不高的狀況,以主題相關(guān)度和高效的爬行策略為核心提出了一套

6、主題爬蟲的設(shè)計(jì)方案,并充分說明了設(shè)計(jì)方案的可行性,然后對(duì)實(shí)現(xiàn)進(jìn)行了詳細(xì)分析和論證.實(shí)驗(yàn)結(jié)果表明雖然主題爬蟲比普通爬蟲耗時(shí),但它也帶來了正面效應(yīng),使爬行的工作量得到了一定程度的減少,頁面一旦進(jìn)入拋棄隊(duì)列將不再被處理,而普通爬蟲只會(huì)沒有選擇的對(duì)所有頁面進(jìn)行處理,而且主題爬蟲在搜索的準(zhǔn)確性和精確性上都比普通爬蟲要好. 主題 Web 挖掘能實(shí)現(xiàn)更高的查全率和查準(zhǔn)率,能滿足一些高級(jí)或?qū)I(yè)性信息的檢索要求,目前主題爬蟲技術(shù)已成為一個(gè)將采集技