基于URL規(guī)則的聚焦爬蟲及其應(yīng)用.pdf

1、隨著信息的不斷膨脹，人們?cè)絹?lái)越離不開搜索引擎。通用搜索引擎如百度、Google給人們提供了很多便利，得到了極大的流行。但是隨著人們需求的多樣化，和對(duì)搜索結(jié)果質(zhì)量的要求越來(lái)越高，通用搜索引擎在一些專門化的領(lǐng)域已經(jīng)不能滿足人們的要求，于是垂直搜索引擎就應(yīng)運(yùn)而生。盡管垂直搜索引擎很多技術(shù)與通用搜索引擎很類似，但是還是有很多自己獨(dú)特的技術(shù)，和一些新的需要解決的問題，聚焦爬蟲就是其中的一個(gè)重點(diǎn)需要解決的問題。 本文首先基于用同一個(gè)模板產(chǎn)生

2、的動(dòng)態(tài)網(wǎng)頁(yè)其內(nèi)容往往是屬于同一個(gè)主題的且其URL 是非常相似的這個(gè)規(guī)律，提出了一個(gè)基于URL規(guī)則的聚焦爬蟲(URLRule Based Focused Crawl，簡(jiǎn)稱UBFC)的算法，即從每個(gè)主題網(wǎng)頁(yè)相關(guān)站點(diǎn)中自動(dòng)學(xué)習(xí)出代表主題相關(guān)網(wǎng)頁(yè)URL和主題無(wú)關(guān)網(wǎng)頁(yè)URL的正則表達(dá)式，并用這些正則表達(dá)式來(lái)指導(dǎo)聚焦爬蟲的抓取。接著介紹了UBFC在Nutch系統(tǒng)上的實(shí)現(xiàn)和URL正則表達(dá)式學(xué)習(xí)算法。最后我們對(duì)UBFC進(jìn)行了應(yīng)用和分析，特別是與廣度優(yōu)先