搜索引擎中爬蟲(chóng)的若干問(wèn)題研究.pdf

1、本文針對(duì)爬蟲(chóng)在當(dāng)前網(wǎng)絡(luò)環(huán)境中衍生的不同的性質(zhì)提出一些針對(duì)各個(gè)性質(zhì)的爬蟲(chóng)構(gòu)架方法，并對(duì)各種方法進(jìn)行實(shí)驗(yàn)分析，主要?jiǎng)?chuàng)新工作和成果如下： 第一，總結(jié)了搜索引擎中爬蟲(chóng)的基本性質(zhì)。 介紹了搜索引擎中爬蟲(chóng)的第一個(gè)基本性質(zhì)多線(xiàn)程斷點(diǎn)續(xù)傳，并從產(chǎn)生背景，實(shí)現(xiàn)和設(shè)計(jì)優(yōu)點(diǎn)三個(gè)方面進(jìn)行闡述，然后介紹了搜索引擎中爬蟲(chóng)的第二個(gè)基本性質(zhì)內(nèi)部網(wǎng)可定制，也并從產(chǎn)生背景，實(shí)現(xiàn)和設(shè)計(jì)優(yōu)點(diǎn)三個(gè)方面進(jìn)行闡述。 第二，總結(jié)了搜索引擎中爬蟲(chóng)的特色性質(zhì)。

2、 介紹了搜索引擎中爬蟲(chóng)的六個(gè)特色性質(zhì)：針對(duì)布告欄的數(shù)據(jù)分類(lèi)，針對(duì)布告欄的并行式關(guān)聯(lián)，針對(duì)論壇的自動(dòng)動(dòng)態(tài)更新，針對(duì)論壇的同話(huà)題定位跟蹤，針對(duì)視頻的可預(yù)覽，針對(duì)視頻的真實(shí)尋址，并分別從產(chǎn)生背景，實(shí)現(xiàn)和設(shè)計(jì)優(yōu)點(diǎn)三個(gè)方面進(jìn)行詳盡闡述。 第三，本文給出八種不同爬蟲(chóng)系統(tǒng)的設(shè)計(jì)方案及實(shí)現(xiàn)。 針對(duì)搜索引擎中爬蟲(chóng)的兩個(gè)基本性質(zhì)和六個(gè)特色性質(zhì)實(shí)現(xiàn)爬蟲(chóng)系統(tǒng)的架構(gòu)和給出詳細(xì)的構(gòu)造分析。 第四，本文針對(duì)八種不同爬蟲(chóng)系統(tǒng)給出實(shí)驗(yàn)及結(jié)論。