網(wǎng)頁(yè)增量式采集技術(shù)研究.pdf

1、網(wǎng)頁(yè)增量采集系統(tǒng)是信息檢索領(lǐng)域中一個(gè)重要的研究方向。增量采集的目的是采集變化的網(wǎng)頁(yè)、新出現(xiàn)的網(wǎng)頁(yè)和消失的網(wǎng)頁(yè)，其中最重要的就是新出現(xiàn)網(wǎng)頁(yè)的增量采集。這種采集方式能有效地縮短采集周期，實(shí)時(shí)更新網(wǎng)頁(yè)數(shù)據(jù)，所以在大規(guī)模搜索引擎和垂直搜索中有著廣泛的應(yīng)用。本文針對(duì)新網(wǎng)頁(yè)增量采集過(guò)程中的三大任務(wù)，即增量采集網(wǎng)頁(yè)樹(shù)、主題團(tuán)網(wǎng)頁(yè)采集和網(wǎng)頁(yè)樹(shù)剪枝進(jìn)行了深入的研究，并實(shí)現(xiàn)了一個(gè)增量采集新網(wǎng)頁(yè)的系統(tǒng)。
　　由于以網(wǎng)站首頁(yè)為根的網(wǎng)頁(yè)樹(shù)中各層次的網(wǎng)頁(yè)類型

2、不同，因此無(wú)法直接按照層次進(jìn)行采集。在增量采集網(wǎng)頁(yè)樹(shù)中，本文提出了基于網(wǎng)頁(yè)樹(shù)的增量采集，首先通過(guò)目錄型網(wǎng)頁(yè)識(shí)別技術(shù)識(shí)別出網(wǎng)站中的目錄型網(wǎng)頁(yè)，得到以目錄型網(wǎng)頁(yè)為根的網(wǎng)頁(yè)樹(shù)，然后應(yīng)用目錄型網(wǎng)頁(yè)更新時(shí)間預(yù)測(cè)技術(shù)計(jì)算出采集網(wǎng)頁(yè)樹(shù)的時(shí)間。通過(guò)這種處理，將不同更新周期的網(wǎng)頁(yè)分成不同的網(wǎng)頁(yè)樹(shù)，而且網(wǎng)頁(yè)樹(shù)中每層的網(wǎng)頁(yè)類型相似，便于按層采集。
　　在主題團(tuán)網(wǎng)頁(yè)采集中，由于從目錄型網(wǎng)頁(yè)向下采集一層的方法只能采集到主題團(tuán)中的一個(gè)網(wǎng)頁(yè)，主題團(tuán)中的其他網(wǎng)頁(yè)

3、都被漏掉了，所以造成了對(duì)新網(wǎng)頁(yè)的采集召回率不高。本文介紹了主題團(tuán)的定義、主題團(tuán)的鏈接特征以及主題團(tuán)中網(wǎng)頁(yè)的采集方法。
　　在網(wǎng)頁(yè)樹(shù)剪枝中，由于并不是網(wǎng)頁(yè)樹(shù)的每個(gè)分支都是新網(wǎng)頁(yè)，為了避免采集舊的網(wǎng)頁(yè)分支，通過(guò)已訪問(wèn)URL緩存和URL中日期識(shí)別技術(shù)對(duì)網(wǎng)頁(yè)樹(shù)進(jìn)行剪枝，由此提高了對(duì)新網(wǎng)頁(yè)采集的準(zhǔn)確率。
　　應(yīng)用了上述技術(shù)的增量網(wǎng)頁(yè)采集系統(tǒng)對(duì)網(wǎng)站中新出現(xiàn)的網(wǎng)頁(yè)的采集準(zhǔn)確率和召回率都得到了很大的提高，本系統(tǒng)對(duì)新網(wǎng)頁(yè)采集的平均準(zhǔn)確率是92