網(wǎng)絡(luò)安全掃描器中網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、本文的研究目的在于設(shè)計(jì)和實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲，該模塊是Web應(yīng)用程序漏洞評(píng)估工具的重要組成部分，設(shè)計(jì)和開發(fā)Web應(yīng)用程序漏洞評(píng)估工具目的在于掃描網(wǎng)站、識(shí)別安全漏洞并且給出掃描評(píng)估報(bào)告。
　　 網(wǎng)絡(luò)爬蟲同樣被稱為搜尋器或機(jī)器人，是一種自動(dòng)從網(wǎng)站上下載WEB頁面的程序。設(shè)計(jì)網(wǎng)絡(luò)爬蟲的主要目的在于恢復(fù)WEB頁面。爬蟲的主要目標(biāo)在于下載一系列重要的頁面，刷新已下載的頁面，發(fā)現(xiàn)新的頁面和保證頁面擁有一個(gè)合適的展現(xiàn)。
　　 網(wǎng)絡(luò)爬蟲同樣被用

2、在信息提取上，例如提取商業(yè)情報(bào)，一個(gè)公司可以利用網(wǎng)絡(luò)爬蟲從WEB網(wǎng)站上提取關(guān)于他們競爭對(duì)手的信息。網(wǎng)絡(luò)爬蟲的其他應(yīng)用在于監(jiān)測(cè)WEB頁面和搜索引擎。爬蟲使得通過WEB頁面中的超鏈接自動(dòng)提取網(wǎng)頁中的信息來實(shí)現(xiàn)上述功應(yīng)用變得可能。一般來說，爬蟲開始都是從一個(gè)初始的頁面中提取超鏈接，然后從這些超鏈接中得到更多的頁面信息，直到頁面數(shù)量達(dá)到一定的規(guī)?；蛘咭呀?jīng)實(shí)現(xiàn)某些較高的目標(biāo)。
　　 在這個(gè)簡單的敘述下面有更多復(fù)雜的研究點(diǎn)，例如可以利用的資