基于Web Community識(shí)別的聚焦爬蟲(chóng)算法研究與設(shè)計(jì).pdf

1、本文在對(duì)Web Community理論，文本分類技術(shù)和聚焦爬蟲(chóng)理論的深入探討的基礎(chǔ)上，對(duì)基于Web Community識(shí)別的聚焦爬蟲(chóng)算法進(jìn)行了研究與設(shè)計(jì)，實(shí)現(xiàn)了應(yīng)用該算法的聚焦爬蟲(chóng)系統(tǒng)并利用此聚焦爬蟲(chóng)系統(tǒng)對(duì)該算法進(jìn)行實(shí)驗(yàn)評(píng)估。 本文所提出的聚焦爬蟲(chóng)算法模型是Ilnproved-HITS-Expansion-IterationModel(HElM)，該模型是基于改進(jìn)HITS的迭代算法進(jìn)行擴(kuò)展而形成的計(jì)算模型，基于該模型的算法為IH

2、EIM原型算法。為了符合聚焦爬蟲(chóng)在線抓取網(wǎng)頁(yè)的特性，提出基于IHEIM原型算法的Adaptive IHEIM算法。在每次迭代過(guò)程中，對(duì)下一輪迭代擴(kuò)展的目標(biāo)作以界定，將此擴(kuò)展目標(biāo)界定定義為聚焦指數(shù)。 本文描述的應(yīng)用Adaptive IHEIM算法的聚焦爬蟲(chóng)系統(tǒng)包括主題集合生成模塊，基本網(wǎng)頁(yè)集合生成模塊，分類器模塊，網(wǎng)絡(luò)圖計(jì)算模塊和抓取解析模塊。 本文的實(shí)驗(yàn)對(duì)包括Adaptive IHEIM算法在內(nèi)的應(yīng)用在聚焦爬蟲(chóng)上的四種算

3、法進(jìn)行測(cè)評(píng)，即廣度優(yōu)先策略算法、基于鏈接上下文預(yù)測(cè)的算法、OPIC算法和Adaptive IHEIM算法，利用平均Harvest Rate和平均Target Recall作為對(duì)比目標(biāo)，得到結(jié)論Adaptive IHEIM算法優(yōu)于其它三種算法。在對(duì)比Adaptive IHEIM算法取不同聚焦指數(shù)時(shí)，對(duì)不同聚焦指數(shù)作了平均Harvest Rate和平均Target Recall對(duì)比，得到結(jié)論每次迭代算法之后聚焦爬蟲(chóng)的抓取效果有所提高，隨著抓