Deep Web數據源發(fā)現(xiàn)及Deep Web垂直搜索引擎設計.pdf

1、隨著網絡的快速發(fā)展,因特網上的信息急劇膨脹,且正在加速深化。按其所蘊含信息的深度可以將Web劃分為Surface Web和Deep Web兩類。與Surface Web相比,Deep Web信息不僅領域性強,主題專一,而且信息的質量和結構化更好,增長速度也更快。因此,Deep Web數據集成研究正逐漸成為互聯(lián)網信息檢索領域的研究熱點。
　　 Deep Web數據源發(fā)現(xiàn)是指在Web中發(fā)現(xiàn)可訪問的Web數據庫,它是DeepWeb數據

2、集成的前提和基礎。這一過程涉及許多關鍵技術,如網頁分類、查詢接口判定等。
　　 本文以Deep Web數據源發(fā)現(xiàn)為重點,對其所涉及的一些關鍵技術進行深入研究,并結合所研究的成果,開發(fā)了一個面向圖書領域的Deep Web垂直搜索引擎原型系統(tǒng)。所做的工作和取得的成果主要體現(xiàn)在以下三個方面:
　　 (1)網頁分類技術。針對網頁分類中關聯(lián)分類方法存在的不足:一、儀把網頁當成純文本處理,忽略了網頁的標簽信息；二、僅用網頁中的特征詞

3、作為關聯(lián)規(guī)則的項,沒有考慮特征詞的權重,或僅以詞頻來量化權重,忽略了特征詞位置特征的影響,提出一種基于特征詞復合權重的關聯(lián)網頁分類方法。實驗結果表明,考慮網頁的標簽信息,并以特征詞的復合權重為基礎建立分類規(guī)則,可以提高網頁分類的準確率,是一種比傳統(tǒng)關聯(lián)分類方法更好的分類方法。
　　 (2)查詢接口判定技術。針對目前查詢接口判定方法誤判較多,無法有效區(qū)分搜索引擎類接口的不足,提出一種基于決策樹和鏈接相似的Deep Web查詢接口判