基于布谷鳥搜索算法的主題爬蟲搜索策略研究

1、密級碩士學位論文碩士學位論文（全日制專業(yè)學位碩士）（全日制專業(yè)學位碩士）題目題目基于布谷鳥搜索算法的主題爬蟲搜索策略研究（英文）（英文）ResearchonSearchStrategyofTopicCrawlerBasedonCuckooSearchAlgithm研究生學號研究生學號:1408305024研究生姓名研究生姓名:錢競遠錢競遠指導教師姓名、職稱指導教師姓名、職稱:楊輝華教授楊輝華教授申請學位類別申請學位類別:工程碩士工程碩士

2、領域領域:控制工程控制工程論文答辯日期論文答辯日期:2017年6月摘要I摘要隨著網(wǎng)絡信息量的快速增長，互聯(lián)網(wǎng)已經(jīng)成為最大的資訊庫，網(wǎng)頁數(shù)量呈現(xiàn)指數(shù)級增長，導致通用搜索引擎檢索針對性下降，不能很好滿足用戶對網(wǎng)頁檢索的個性化要求。與傳統(tǒng)搜索引擎相比，主題搜索引擎有選擇的搜索主題相關網(wǎng)頁，向有特定需要的用戶提供檢索服務，從而能更好地滿足用戶個性化檢索需求。主題爬蟲作為主題搜索引擎工作的第一步，作用非常重要，其效果好壞取決于搜索策略，所以搜索策

3、略的好壞直接影響搜索引擎的性能，更影響用戶的檢索體驗。因此研究主題爬蟲用何種搜索策略抓取網(wǎng)頁具有非常重要的意義。論文首先綜述搜索引擎的組成結構及種類，剖析主題爬蟲與通用爬蟲的區(qū)別，并總結了目前幾種常見的主題爬蟲搜索策略，介紹了網(wǎng)絡爬蟲需要用到的重要技術，如網(wǎng)頁去重、分詞，運用向量空間模型判斷主題相關性，以及MySQL數(shù)據(jù)庫技術。本文提出一種基于布谷鳥搜索算法的主題爬蟲搜索策略。該算法具有參數(shù)少、易操作、易實現(xiàn)、隨機路徑優(yōu)和全局尋優(yōu)能力強

4、等優(yōu)點，能夠很好地解決目前主題爬蟲的兩個問題：“主題漂移”和“隧道現(xiàn)象”，即易陷入局部網(wǎng)頁鏈接和對鏈接距離較遠但相關度高的網(wǎng)頁不能實時抓取，從而提高檢索質量。論文設計了對比實驗，與基于Hits算法搜索策略和BreadthFirst算法搜索策略對比，比較三種算法的查準率，實驗結果顯示本文提出的搜索策略的網(wǎng)頁查準率優(yōu)于另外兩種算法。本文研發(fā)了一套適用于主題搜索引擎需要的分布式、參數(shù)可動態(tài)配置、功能可擴展的主題爬蟲程序。采用多線程的網(wǎng)頁信息采