搜索引擎中基于領(lǐng)域本體的主題信息采集方法的研究.pdf

1、近年來，隨著Web信息多元化的增長，傳統(tǒng)的信息采集系統(tǒng)已無法保證對信息的及時更新，并且由于其采集信息的主題范圍過于廣泛，較少考慮采集的信息是否與查詢主題相關(guān)，滿足不了人們對個性化信息檢索服務(wù)日益增長的需求。主題信息采集系統(tǒng)采集信息的內(nèi)容只限于特定主題或?qū)ｉT領(lǐng)域，在搜索過程中無須對整個Web進行遍歷，只需選擇與主題相關(guān)的頁面進行訪問，基本回避了傳統(tǒng)信息采集系統(tǒng)信息指數(shù)膨脹的危機，成為近年的研究熱點。 主題信息采集是專業(yè)搜索引擎的核

2、心技術(shù)，它指導著網(wǎng)絡(luò)爬蟲(robot)進行有價值的搜索。專門搜索與主題相關(guān)的頁面；目前主題信息采集系統(tǒng)中常用基于關(guān)鍵詞的向量空間模型來表示網(wǎng)頁文本，它通過考慮關(guān)鍵詞的權(quán)重以及關(guān)鍵詞在網(wǎng)頁中出現(xiàn)的頻率來采集相關(guān)的網(wǎng)頁。這種算法的本質(zhì)是統(tǒng)計頁面中出現(xiàn)給定關(guān)鍵詞的次數(shù)，出現(xiàn)次數(shù)越多，則認為越相關(guān)。但實際情況是，一個概念可以用多個 關(guān)鍵詞表達，一個關(guān)鍵詞也能表達多個概念，同時多個子概念表達的內(nèi)容仍屬于父概念的范疇，而這種只基于關(guān)鍵詞的相

3、關(guān)度分析方法對這些情況的處理效率很不好。 本文提出了基于本體的網(wǎng)頁主題相關(guān)度分析方法，它反映的不再是簡單的詞條出現(xiàn)頻率，而是強化了網(wǎng)頁中詞條間的語義關(guān)系，從而克服了使用傳統(tǒng)向量空間時產(chǎn)生的多義詞、同義詞和單詞依賴等現(xiàn)象；而且文中采用的綜合價值的主題相關(guān)度評價方法，同時對網(wǎng)頁內(nèi)容價值和鏈接內(nèi)容價值進行考察，從而保證了robot搜索的網(wǎng)頁與主題有著較高的相關(guān)度。通過實驗，比較了提出的方法與基 于關(guān)鍵詞主題相關(guān)度方法的結(jié)果，進