基于遺傳算法的主題爬蟲搜索策略研究.pdf

1、傳統(tǒng)的搜索引擎需要對互聯(lián)網(wǎng)上的信息進(jìn)行廣泛的收集和分析處理，隨著互聯(lián)網(wǎng)的急劇膨脹，傳統(tǒng)的搜索引擎需要處理的網(wǎng)絡(luò)信息也越來越多，同時(shí)也就不可避免的為用戶提供了或多或少的無關(guān)信息。在專業(yè)化需求日益增長的今天，主題搜索引擎以其分類細(xì)致精確、數(shù)據(jù)全面準(zhǔn)確的特點(diǎn)迅速流行起來，而主題搜索引擎的關(guān)鍵技術(shù)——主題爬蟲的搜索策略就成為了近幾年的研究熱點(diǎn)。
　　 本文將遺傳算法應(yīng)用在主題爬蟲的搜索中，引入遺傳算法來改進(jìn)爬蟲的搜索策略，利用遺傳算法高

2、效、并行、全局尋優(yōu)的特點(diǎn)，提高爬蟲的搜索效率。本文的研究內(nèi)容主要有以下兩個(gè)方面：根據(jù)網(wǎng)絡(luò)特點(diǎn)改進(jìn)傳統(tǒng)的遺傳算法；通過實(shí)驗(yàn)驗(yàn)證改進(jìn)后的效果。
　　 基于遺傳算法的主題爬蟲搜索策略，是將待檢索的問題提交給通用搜索引擎，對其返回的結(jié)果集進(jìn)行處理，選擇一定數(shù)目的URL作為初始群體；通過交叉操作，提取初始群體中URL對應(yīng)頁面包含的所有超鏈，產(chǎn)生出大量新的個(gè)體，再對所有超鏈進(jìn)行相似度預(yù)測，選出相關(guān)度高的種子作為交叉結(jié)果；通過變異操作，引入目

3、錄型網(wǎng)頁，擴(kuò)大搜索范圍；通過選擇操作，對遺傳之后的結(jié)果進(jìn)行處理，選出相關(guān)度高的個(gè)體作為新一代的種子進(jìn)入新一輪的遺傳；通過爬蟲終止搜索條件，來結(jié)束爬蟲的搜索。
　　 本文在構(gòu)造初始群時(shí)，將待檢索的問題提交給通用搜索引擎Google，對其返回的結(jié)果集選擇前n個(gè)URL，再擴(kuò)展、去重、計(jì)算Authority和Hub值，重點(diǎn)是引入了Alexa排名，然后依據(jù)綜合排名值選擇初始種子集合。在交叉過程，根據(jù)超鏈的錨文本有效地預(yù)測對應(yīng)的頁面與主題的