海關(guān)網(wǎng)頁(yè)搜集系統(tǒng)的設(shè)計(jì).pdf

1、搜索引擎是隨著WEB信息的迅速增加，從1994年開(kāi)始逐漸發(fā)展起來(lái)的技術(shù)。根據(jù)Netcraft的最新互聯(lián)網(wǎng)調(diào)查，截止到2006年3月31日，互聯(lián)網(wǎng)上一共有超過(guò)8000萬(wàn)個(gè)網(wǎng)站。目前全球最大的搜索引擎Google更是收錄了超過(guò)80億張網(wǎng)頁(yè)，這就對(duì)搜索引擎技術(shù)提出了更高的要求。搜索引擎的網(wǎng)頁(yè)搜集系統(tǒng)（又稱(chēng)爬蟲(chóng)），是它的主要模塊之一，而爬蟲(chóng)的搜集速度、抓取網(wǎng)頁(yè)質(zhì)量又是評(píng)價(jià)搜索引擎好壞的主要指標(biāo)。本文將分析現(xiàn)有爬蟲(chóng)的體系結(jié)構(gòu)，從網(wǎng)頁(yè)抓取和信息提取

2、兩方面解釋爬蟲(chóng)的工作原理。為了讓爬蟲(chóng)能夠滿(mǎn)足海量數(shù)據(jù)搜集的需要，減少因網(wǎng)頁(yè)重復(fù)搜集而產(chǎn)生的不必要開(kāi)銷(xiāo)，本文采用了一種新的方法——分裂式Bloom filter算法，并在“asBetter-超越”搜索引擎的分布式結(jié)構(gòu)中引入了這種思想。另外，針對(duì)局域網(wǎng)條件，“asBetter-超越”采用基于巴科斯范式的HTML詞法分析自動(dòng)機(jī)，對(duì)網(wǎng)頁(yè)進(jìn)行頁(yè)面分析，從而高效的提取網(wǎng)頁(yè)的純正文內(nèi)容。最后，對(duì)“asBetter-超越”進(jìn)行完整性驗(yàn)證和性能分析，并探