基于Agent的專題搜索引擎爬蟲的研究.pdf

1、隨著WWW技術的廣泛應用，傳統(tǒng)的通用搜索引擎正面臨巨大的挑戰(zhàn)，存在著查全率不高、檢索的精度不高、更新不及時、不能很好地表達用戶需求，呈現(xiàn)給用戶的搜索結果中包含大量與用戶無關的信息，同時，對于越來越多的不同領域的客戶群，他們急需的是能夠提供高效檢索其業(yè)內信息的專題搜索引擎。 專題搜索引擎(Topic-Specific Search Engine)，通過定點采集、定題采集、網站結構挖據(jù)等的方法來提高檢索的查全率和查準率，保證其較高的

2、時效性、專業(yè)性并提供更好的個性化服務，從而可高效地發(fā)掘特定領域的信息，提供有特色的檢索服務。因此網絡爬蟲的設計是專題搜索引擎的核心，本文闡述了基于agent的專題搜索引擎的爬蟲的設計及相關關鍵技術，本文的主要工作有： 1.在分析搜索引擎技術、agent自適應技術和機器學習研究現(xiàn)狀基礎上提出了一種基于agent專題搜索的爬蟲框架CFATSS(Crawler Frame of Agent-basedTopic-Specific Se

3、arch)。 2.提出了一種基于詞表和統(tǒng)計相結合的分詞算法，利用改進的Salton的向量空間模型VSM(Vectot Space Model)，將web結構挖掘和內容挖掘結合起來，設計了一種基于支持向量機特定主題的自動分類算法。 3.提出了一種基于Q學習的搜索策略算法，該算法結合網頁評價技術及鏈接結構技術，并利用agent自適應性，通過減少一定程度上的搜索貪婪性從而比較有效地避免了傳統(tǒng)的啟發(fā)式搜索引擎的容易過早陷入Web