主題搜索引擎設計與研究.pdf

1、由于Web上海量的信息處于不斷的變化中，通用搜索引擎己經很難再為用戶提供一個準確并且更新及時的信息搜索服務，其局限性在于它試圖索引全部Web并且試圖服務于所有主題的查詢請求。而主題搜索引擎只覆蓋與特定主題相關的Web區(qū)域，這樣它搜索的可以更深，搜索的周期可以更短，因此能滿足用戶對獲取信息資源快速、準確的性能要求。面向主題的搜索研究正成為越來越熱門的課題。 本文首先對搜索引擎的歷史、分類、發(fā)展現狀及其趨勢做了概要介紹：然后以搜索引

2、擎的體系結構、工作原理為主線在全文展開我們的研究工作。我們分別對爬蟲技術、HTML解析技術、分詞技術做了詳細的分析與研究。對頁面鏈接、頁面分布的特征也做了分析。 本文設計和實現了一個頁面主題相關性判定系統。它的系統結構植根于開源軟件Nutch，在健壯性與簡單易用性上得到了保證。其核心思想是：把關鍵詞加權和頁面進行主題相關性判定。其中運用到了向量空間模型與關鍵詞集技術。 本文還提出了一個較為新穎的概念：關鍵詞和頁面間的Ω-