中文網(wǎng)頁定題采集及分類研究.pdf

1、網(wǎng)絡正深刻地改變著我們的生活，Internet 已經(jīng)發(fā)展成為當今世界上最大的信息庫，如何快速、準確地從浩瀚的信息資源中尋找到所需的信息已經(jīng)成為網(wǎng)絡用戶的一大難題。因而基于Web 的網(wǎng)上信息的采集和相關的信息處理日益成為人們關注的焦點。 傳統(tǒng)的Web 信息采集所采集的頁面數(shù)量過于龐大，所采集頁面的內容過于雜亂，需要消耗非常大的系統(tǒng)資源和網(wǎng)絡資源。同時Internet 信息的分散狀態(tài)和動態(tài)變化也是困擾著信息采集的問題。定題搜索引擎將

2、信息檢索限定在特定主題領域，就主題相關的信息提供檢索服務，相應特定主題所需采集的網(wǎng)頁數(shù)量極大減少且主題統(tǒng)一。與通用的搜索引擎相比較，定題搜索引擎由于檢索的范圍較小，查準率和查全率易于保證。本文所研究的就是建立定題搜索引擎的前期關鍵技術—Web 信息定題采集及分類技術。全文的主要內容如下： 通過對Web 結構和Web 鏈接特性的研究，分析了一些在定題Web 信息采集過程中有用的規(guī)律。對元數(shù)據(jù)進行定義，討論了幾種基本的超鏈及其元數(shù)據(jù)

3、類型。研究了網(wǎng)頁信息抽取問題，分析了常見類型的元數(shù)據(jù)并確定了適合作為定題信息采集依據(jù)的元數(shù)據(jù)類型。 討論了如何基于元數(shù)據(jù)通過主題擴展得到主題相關詞集，包括禁用詞過濾、主題候選詞的抽取及相關策略過濾等過程。重點研究了利用改進的Apriori 算法，對元數(shù)據(jù)庫進行關聯(lián)挖掘抽取主題候選詞，并給出了主題詞關聯(lián)挖掘和過濾，即主題擴展的迭代算法。實驗證明，本文所提供的元數(shù)據(jù)處理策略，能很好地進行主題的抽取與擴展，為實現(xiàn)更有效的定題Web 信

4、息采集提供良好前提。 給出了一個基于Web 元數(shù)據(jù)的定題信息采集系統(tǒng)并加以描述。對經(jīng)典的基于超鏈分析的相關性判別算法HITS 和PageRank 進行了描述和分析，給出了基于Web 元數(shù)據(jù)的多種相關性判別算法，并利用Web 元數(shù)據(jù)對HITS 和PageRank 算法進行了改進，提出了M-PageRank 算法和M-HITS 算法。測試了各種算法的性能并作了比較研究，實驗驗證了所提出的算法能為實現(xiàn)定題檢索提供良好前提。 討

5、論了文本分類的基礎及Web 網(wǎng)頁在文本分類中的特性和特殊處理，將HTML文檔用TFE 表示，考慮半結構文檔詞條所處結構對分類的影響，修正了反映特征詞在網(wǎng)頁中的權重函數(shù)，引入擴展文本作為網(wǎng)頁分類的內容補充。研究了既考慮文檔結構又兼顧文檔內容的改進的樸素貝葉斯和支持向量機Web 網(wǎng)頁分類方法，并通過實驗驗證了兩種分類方法的良好效果。 通過對Web 定題采集和分類的研究，本文從技術和方法上做出了一些增強及改進，提出的方法及改進的算法取