網(wǎng)絡(luò)爬蟲技術(shù)淺析

1、網(wǎng)絡(luò)爬蟲技術(shù)淺析分類：java網(wǎng)絡(luò)爬蟲2012081815:091641人閱讀評論(0)收藏舉報(bào)網(wǎng)絡(luò)爬蟲搜索引擎url算法服務(wù)器數(shù)據(jù)庫在萬維網(wǎng)飛速發(fā)展的網(wǎng)絡(luò)背景下，搜索引擎在人們的生活工作中無疑扮演著重要的角色，而網(wǎng)絡(luò)爬蟲則是搜索引擎技術(shù)的最基礎(chǔ)部分。一、網(wǎng)絡(luò)爬蟲概述在搜索引擎成為主流檢索工具的今天，互聯(lián)網(wǎng)上的網(wǎng)絡(luò)爬蟲各式各樣，但爬蟲爬取網(wǎng)頁的基本步驟大致相同：1）人工給定一個(gè)URL作為入口，從這里開始爬取。萬維網(wǎng)的可視圖呈蝴蝶型，網(wǎng)絡(luò)

2、爬蟲一般從蝴蝶型左邊結(jié)構(gòu)出發(fā)。這里有一些門戶網(wǎng)站的主頁，而門戶網(wǎng)站中包含大量有價(jià)值的鏈接。2）用運(yùn)行隊(duì)列和完成隊(duì)列來保存不同狀態(tài)的鏈接。對于大型數(shù)據(jù)量而言，內(nèi)存中的隊(duì)列是不夠的，通常采用數(shù)據(jù)庫模擬隊(duì)列。用這種方法既可以進(jìn)行海量的數(shù)據(jù)抓取，還可以擁有斷點(diǎn)續(xù)抓功能。3）線程從運(yùn)行隊(duì)列讀取隊(duì)首URL，如果存在，則繼續(xù)執(zhí)行，反之則停止爬取。4）每處理完一個(gè)URL，將其放入完成隊(duì)列，防止重復(fù)訪問。5）每次抓取網(wǎng)頁之后分析其中的URL（URL是字符

3、串形式，功能類似指針），將經(jīng)過過濾的合法鏈接寫入運(yùn)行隊(duì)列，等待提取。6）重復(fù)步驟3）、4）、5）。1.1網(wǎng)頁搜索策略萬維網(wǎng)高闊無邊，為了最大限度利用有限的資源，我們需要進(jìn)行資源配置，并運(yùn)用某些策略使爬蟲優(yōu)先爬取重要性較高的網(wǎng)頁。另外，還有一種常用于聚焦爬蟲的網(wǎng)頁搜索策略——最佳優(yōu)先策略。最佳優(yōu)先，即按照某種網(wǎng)頁分析算法預(yù)測候選URL與目標(biāo)網(wǎng)頁的相似度，或主題的相關(guān)性，并選取其中評價(jià)最好的一個(gè)或幾個(gè)URL進(jìn)行進(jìn)一步的爬取。這種策略的缺陷是

4、可能會(huì)有很多相關(guān)網(wǎng)頁被忽略，但相對的，這種策略可以將無關(guān)網(wǎng)頁數(shù)量降低30%—90%。1.2對URL的獲取和處理網(wǎng)絡(luò)爬蟲訪問的是后臺(tái)html代碼，它分析出URL之后，對其進(jìn)行過濾并將結(jié)果放入運(yùn)行隊(duì)列。在取得URL時(shí)要提防一種“爬蟲陷阱”。因?yàn)榧词挂粋€(gè)URL能訪問到相應(yīng)內(nèi)容，也不能保證服務(wù)器端有一個(gè)相應(yīng)頁面存在，例如動(dòng)態(tài)網(wǎng)頁的應(yīng)用可能會(huì)使網(wǎng)站中存在一些無法窮盡的地址，讓爬蟲在一個(gè)位置上無限循環(huán)而無法終結(jié)。針對“爬蟲陷阱”，其中一種應(yīng)對方法是

5、：檢查URL長度（或“”的數(shù)量），一旦超出某個(gè)閾值就不再獲取。鏈接過濾處理涉及兩個(gè)數(shù)組，第一個(gè)是“必須存在的關(guān)鍵字”組。分析鏈接時(shí)，鏈接中必須存在這個(gè)數(shù)組中所有關(guān)鍵字（例如關(guān)鍵字為和index，則index符合要求而html不符合要求）。另一個(gè)是“不可存在的關(guān)鍵字”組。分析鏈接時(shí)，鏈接中必須不存在這個(gè)數(shù)組中任何一個(gè)關(guān)鍵字（例如關(guān)鍵字為index，則index不符合要求）。對關(guān)鍵字的過濾方法包括以下兩種：1）只取得包含給定關(guān)鍵字的鏈接，這