網(wǎng)絡(luò)爬蟲(chóng)技術(shù)分析

1、網(wǎng)絡(luò)爬蟲(chóng)技術(shù)分析與研究網(wǎng)絡(luò)爬蟲(chóng)技術(shù)分析與研究搜索引擎搜索引擎1.概念：從網(wǎng)絡(luò)上獲得網(wǎng)站網(wǎng)頁(yè)資料，能夠建立數(shù)據(jù)庫(kù)并提供查詢的系統(tǒng)。2.分類（按工作原理）：全文搜索引擎、分類目錄。1全文搜索引擎數(shù)據(jù)庫(kù)是依靠網(wǎng)絡(luò)爬蟲(chóng)通過(guò)網(wǎng)絡(luò)上的各種鏈接自動(dòng)獲取大量網(wǎng)頁(yè)信息內(nèi)容，并按一定的規(guī)則分析整理形成的。（百度、Google）2分類目錄：按目錄分類的網(wǎng)站鏈接列表而已，通過(guò)人工的方式收集整理網(wǎng)站資料形成的數(shù)據(jù)庫(kù)。(國(guó)內(nèi)的搜狐)網(wǎng)絡(luò)機(jī)器人網(wǎng)絡(luò)機(jī)器人1.概念：它

2、們是Web上獨(dú)自運(yùn)行的軟件程序，它們不斷地篩選數(shù)據(jù)，做出自己的決定，能夠使用Web獲取文本或者進(jìn)行搜索查詢，按部就班地完成各自的任務(wù)。2.分類：購(gòu)物機(jī)器人、聊天機(jī)器人、搜索機(jī)器人（網(wǎng)絡(luò)爬蟲(chóng)）等。網(wǎng)絡(luò)爬蟲(chóng)網(wǎng)絡(luò)爬蟲(chóng)1.概念：網(wǎng)絡(luò)爬蟲(chóng)也叫網(wǎng)絡(luò)蜘蛛，它是一個(gè)按照一定的規(guī)則自動(dòng)提取網(wǎng)頁(yè)程序，其會(huì)自動(dòng)的通過(guò)網(wǎng)絡(luò)抓取互聯(lián)網(wǎng)上的網(wǎng)頁(yè)，這種技術(shù)一般可能用來(lái)檢查你的站點(diǎn)上所有的鏈接是否是都是有效的。當(dāng)然，更為高級(jí)的技術(shù)是把網(wǎng)頁(yè)中的相關(guān)數(shù)據(jù)保存下來(lái)，可以成為

3、搜索引擎。搜索引擎使用網(wǎng)絡(luò)爬蟲(chóng)尋找網(wǎng)絡(luò)內(nèi)容，網(wǎng)絡(luò)上的HTML文檔使用超鏈接連接了起來(lái)，就像織成了一張網(wǎng)，網(wǎng)絡(luò)爬蟲(chóng)也叫網(wǎng)絡(luò)蜘蛛，順著這張網(wǎng)爬行，每到一個(gè)網(wǎng)頁(yè)就用抓取程序?qū)⑦@個(gè)網(wǎng)頁(yè)抓下來(lái)，將內(nèi)容抽取出來(lái)，同時(shí)抽取超鏈接，作為進(jìn)一步爬行的線索。網(wǎng)絡(luò)爬蟲(chóng)總是要從某個(gè)起點(diǎn)開(kāi)始爬，這個(gè)起點(diǎn)叫做種子，你可以告訴它，也可以到一些網(wǎng)址列表網(wǎng)站上獲取。2.區(qū)別：網(wǎng)絡(luò)爬蟲(chóng)分類通用爬蟲(chóng)聚集爬蟲(chóng)工作原理從一個(gè)或多個(gè)初始網(wǎng)頁(yè)的URL開(kāi)始，獲取初始網(wǎng)頁(yè)的URL，抓取

4、網(wǎng)頁(yè)的同時(shí)，從當(dāng)前網(wǎng)頁(yè)提取相關(guān)的URL放入隊(duì)列中，直到滿足程序的停止條件。根據(jù)一定的網(wǎng)頁(yè)分析算法過(guò)濾與主題無(wú)關(guān)的鏈接，保留有用的鏈接(爬行的范圍是受控的)放到待抓取的隊(duì)列中，通過(guò)一定的搜索策略從隊(duì)列中選擇下一步要抓取的URL，重復(fù)以上步驟，直到滿足程序的停止條件。不同點(diǎn)1.增加了一些網(wǎng)頁(yè)分析算法和網(wǎng)頁(yè)搜索策略2.對(duì)被爬蟲(chóng)抓取的網(wǎng)頁(yè)將會(huì)被系統(tǒng)存貯，進(jìn)行一定的分析、過(guò)濾，并建立索引，以便之后的查詢和檢索，這一過(guò)程所得到的分析結(jié)果還可能1網(wǎng)頁(yè)

5、分析算法1.1基于網(wǎng)絡(luò)拓?fù)涞姆治鏊惴íセ诰W(wǎng)頁(yè)之間的鏈接，通過(guò)已知的網(wǎng)頁(yè)或數(shù)據(jù)，來(lái)對(duì)與其有直接或間接鏈接關(guān)系的對(duì)象（可以是網(wǎng)頁(yè)或網(wǎng)站等）作出評(píng)價(jià)的算法。又分為網(wǎng)頁(yè)粒度、網(wǎng)站粒度和網(wǎng)頁(yè)塊粒度這三種。1.1.1網(wǎng)頁(yè)(Webpage)粒度的分析算法PageRank和HITS算法是最常見(jiàn)的鏈接分析算法，兩者都是通過(guò)對(duì)網(wǎng)頁(yè)間鏈接度的遞歸和規(guī)范化計(jì)算，得到每個(gè)網(wǎng)頁(yè)的重要度評(píng)價(jià)。PageRank算法雖然考慮了用戶訪問(wèn)行為的隨機(jī)性和Sink網(wǎng)頁(yè)的存在，

6、但忽略了絕大多數(shù)用戶訪問(wèn)時(shí)帶有目的性，即網(wǎng)頁(yè)和鏈接與查詢主題的相關(guān)性。針對(duì)這個(gè)問(wèn)題，HITS算法提出了兩個(gè)關(guān)鍵的概念：權(quán)威型網(wǎng)頁(yè)（authity）和中心型網(wǎng)頁(yè)（hub）?；阪溄拥淖ト〉膯?wèn)題是相關(guān)頁(yè)面主題團(tuán)之間的隧道現(xiàn)象，即很多在抓取路徑上偏離主題的網(wǎng)頁(yè)也指向目標(biāo)網(wǎng)頁(yè)，局部評(píng)價(jià)策略中斷了在當(dāng)前路徑上的抓取行為。文獻(xiàn)[21]提出了一種基于反向鏈接（BackLink）的分層式上下文模型（ContextModel），用于描述指向目標(biāo)網(wǎng)頁(yè)一定物

7、理跳數(shù)半徑內(nèi)的網(wǎng)頁(yè)拓?fù)鋱D的中心Layer0為目標(biāo)網(wǎng)頁(yè)，將網(wǎng)頁(yè)依據(jù)指向目標(biāo)網(wǎng)頁(yè)的物理跳數(shù)進(jìn)行層次劃分，從外層網(wǎng)頁(yè)指向內(nèi)層網(wǎng)頁(yè)的鏈接稱為反向鏈接。1.1.2網(wǎng)站粒度的分析算法網(wǎng)站粒度的資源發(fā)現(xiàn)和管理策略也比網(wǎng)頁(yè)粒度的更簡(jiǎn)單有效。網(wǎng)站粒度的爬蟲(chóng)抓取的關(guān)鍵之處在于站點(diǎn)的劃分和站點(diǎn)等級(jí)(SiteRank)的計(jì)算。SiteRank的計(jì)算方法與PageRank類似，但是需要對(duì)網(wǎng)站之間的鏈接作一定程度抽象，并在一定的模型下計(jì)算鏈接的權(quán)重。網(wǎng)站劃分情況

8、分為按域名劃分和按IP地址劃分兩種。文獻(xiàn)[18]討論了在分布式情況下，通過(guò)對(duì)同一個(gè)域名下不同主機(jī)、服務(wù)器的IP地址進(jìn)行站點(diǎn)劃分，構(gòu)造站點(diǎn)圖，利用類似PageRank的方法評(píng)價(jià)SiteRank。同時(shí)，根據(jù)不同文件在各個(gè)站點(diǎn)上的分布情況，構(gòu)造文檔圖，結(jié)合SiteRank分布式計(jì)算得到DocRank。文獻(xiàn)[18]證明，利用分布式的SiteRank計(jì)算，不僅大大降低了單機(jī)站點(diǎn)的算法代價(jià)，而且克服了單獨(dú)站點(diǎn)對(duì)整個(gè)網(wǎng)絡(luò)覆蓋率有限的缺點(diǎn)。附帶的一個(gè)優(yōu)

9、點(diǎn)是，常見(jiàn)PageRank造假難以對(duì)SiteRank進(jìn)行欺騙。1.1.3網(wǎng)頁(yè)塊粒度的分析算法在一個(gè)頁(yè)面中，往往含有多個(gè)指向其他頁(yè)面的鏈接，這些鏈接中只有一部分是指向主題相關(guān)網(wǎng)頁(yè)的，或根據(jù)網(wǎng)頁(yè)的鏈接錨文本表明其具有較高重要性。但是，在PageRank和HITS算法中，沒(méi)有對(duì)這些鏈接作區(qū)分，因此常常給網(wǎng)頁(yè)分析帶來(lái)廣告等噪聲鏈接的干擾。在網(wǎng)頁(yè)塊級(jí)別(Blocklevel)進(jìn)行鏈接分析的算法的基本思想是通過(guò)VIPS網(wǎng)頁(yè)分割算法將網(wǎng)頁(yè)分為不同