面向電子商務(wù)網(wǎng)站的增量爬蟲設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)和電子商務(wù)的快速發(fā)展,電子商務(wù)網(wǎng)站越來越多,為了盡快的找到和比較商品,越來越多的人通過比較購(gòu)物網(wǎng)站來精準(zhǔn)的搜索和比較商品。在比較購(gòu)物網(wǎng)站中,可以輕松的獲取商品的詳細(xì)信息,如價(jià)格、性能參數(shù)、圖片等信息,還能方便的比較同一商品在不同電子商務(wù)網(wǎng)站的價(jià)格、評(píng)價(jià)等信息,從而選擇合適的電子商務(wù)網(wǎng)站進(jìn)行購(gòu)物。然而,電子商務(wù)網(wǎng)站時(shí)刻都在發(fā)生變化,如商品的新增、刪除以及商品價(jià)格的調(diào)整等。傳統(tǒng)的比較購(gòu)物網(wǎng)站往往存在商品信息滯后,數(shù)據(jù)與電子商務(wù)網(wǎng)站

2、存在較大差異,影響用戶體驗(yàn),不能真正實(shí)現(xiàn)比較購(gòu)物。
　　 為了解決上述問題,在比較購(gòu)物網(wǎng)站中需要引入增量爬蟲來實(shí)現(xiàn)數(shù)據(jù)的增量抓取。增量爬蟲的特征是維護(hù)網(wǎng)頁(yè)的變化軌跡并預(yù)測(cè)變化時(shí)間,提供待檢查的URL列表。增量爬蟲對(duì)電子商務(wù)網(wǎng)站的增量抓取效果,直接影響比較購(gòu)物網(wǎng)站數(shù)據(jù)的準(zhǔn)確性,可以說增量抓取技術(shù)的應(yīng)用程度,是整個(gè)比較購(gòu)物網(wǎng)站是否成功的關(guān)鍵。一個(gè)好的增量抓取爬蟲,可以減少購(gòu)物搜索引擎中人工干預(yù)的程度,提高搜索引擎自身的時(shí)新性、查準(zhǔn)率

3、和查全率,以及有效改善網(wǎng)絡(luò)帶寬的使用效率。
　　 根據(jù)相關(guān)統(tǒng)計(jì)數(shù)據(jù)顯示,國(guó)內(nèi)電子商務(wù)網(wǎng)站的層級(jí)主要分為二級(jí)和三級(jí),基于這一規(guī)律,本文提出了基于URL分類的爬行策略,將URL分為Index類、Channel類、List類、Content類、其它類。其中Index類、Channel類和List類為索引類URL,索引類URL指向的頁(yè)面不包含具體商品信息,以導(dǎo)航形式指向其它索引頁(yè)或Content內(nèi)容頁(yè),Content類指向的頁(yè)面為商品詳