智能Web廣告爬蟲系統(tǒng)研究.pdf

1、近年來，隨著互聯(lián)網(wǎng)越來越深入的影響人們的日常生活，互聯(lián)網(wǎng)也演變?yōu)槌娨?、?bào)紙外一個非常重要的廣告?zhèn)鞑ッ浇椤eb廣告由于其覆蓋面廣、交互性強(qiáng)等特質(zhì)，吸引了眾多的廣告主在互聯(lián)網(wǎng)上進(jìn)行營銷。在互聯(lián)網(wǎng)上投放的廣告數(shù)據(jù)非常之多，收集這些數(shù)據(jù)是一份很有意義的工作，但是目前卻沒有針對這些Web廣告數(shù)據(jù)的采集器。
　　本文提出并設(shè)計(jì)了一個Web廣告爬蟲系統(tǒng)，專門用來收集互聯(lián)網(wǎng)中的廣告數(shù)據(jù)。本文主要做了如下三個方面的工作：
　　(1)設(shè)計(jì)了

2、針對Web廣告信息抓取的爬行策略，爬行策略通過計(jì)算URL種子的權(quán)重來安排 URL種子的下載順序。結(jié)合 Web廣告爬蟲系統(tǒng)要抓取的廣告對象類型和Web廣告的投放方法，提出了已下載頁面權(quán)重計(jì)算方法和種子鏈接權(quán)重計(jì)算方法，計(jì)算已下載頁面權(quán)重，結(jié)合一些全局統(tǒng)計(jì)知識進(jìn)一步計(jì)算種子鏈接的權(quán)重；
　　(2)通過觀察和分析大量不同類型網(wǎng)頁中的廣告數(shù)據(jù)，設(shè)計(jì)了針對Web廣告信息的抽取方法，用于抽取網(wǎng)頁中的廣告數(shù)據(jù)。該方法根據(jù)網(wǎng)頁中的廣告數(shù)據(jù)呈現(xiàn)出來

3、的局部性和聚集性，利用聚類算法將網(wǎng)頁中的所有超鏈接聚合成超鏈接塊，然后用啟發(fā)式規(guī)則判斷鏈接塊的類別性質(zhì)，如果判斷是廣告塊，抽取廣告塊中的廣告數(shù)據(jù)；
　　(3)在以上研究成果的基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了一個智能Web廣告爬蟲系統(tǒng)，該系統(tǒng)從預(yù)設(shè)的URL種子開始，自動的從互聯(lián)網(wǎng)中下載網(wǎng)頁數(shù)據(jù)，然后抽取網(wǎng)頁中的廣告數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明，智能Web廣告爬蟲系統(tǒng)的爬行策略與廣度優(yōu)先策略和深度優(yōu)先策略相比，能夠更高效的抓取互聯(lián)網(wǎng)中的廣告數(shù)據(jù)，同時，廣告信