支持Ajax技術(shù)的主題網(wǎng)絡(luò)爬蟲系統(tǒng)研究與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)爬蟲是搜索引擎的重要組成部分，負(fù)責(zé)互聯(lián)網(wǎng)中數(shù)據(jù)的采集工作。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，越來(lái)越多的網(wǎng)站開始應(yīng)用Ajax技術(shù)。Ajax采用異步模式向服務(wù)器發(fā)送請(qǐng)求，并將從服務(wù)器獲取的數(shù)據(jù)動(dòng)態(tài)顯示在Web頁(yè)面，網(wǎng)頁(yè)的源文件和URL都不發(fā)生變化。這一技術(shù)的應(yīng)用使得傳統(tǒng)根據(jù)HTML源文件進(jìn)行信息采集的網(wǎng)絡(luò)爬蟲無(wú)法采集到動(dòng)態(tài)信息。Ajax技術(shù)的應(yīng)用領(lǐng)域越來(lái)越廣，目前大多數(shù)新聞?wù)军c(diǎn)的新聞評(píng)論都采用了Ajax技術(shù)，這些動(dòng)態(tài)評(píng)論信息對(duì)輿情的收集具有重要意義。

2、基于Ajax技術(shù)在新聞?lì)I(lǐng)域的應(yīng)用，本文研究并設(shè)計(jì)了能夠采集Ajax網(wǎng)頁(yè)信息的主題網(wǎng)絡(luò)爬蟲系統(tǒng)，實(shí)現(xiàn)了對(duì)新聞?wù)军c(diǎn)的新聞信息以及動(dòng)態(tài)評(píng)論信息的采集。
　　 首先，研究了Ajax網(wǎng)頁(yè)動(dòng)態(tài)信息的采集。通過(guò)使用瀏覽器API并模擬用戶行為對(duì)網(wǎng)頁(yè)元素進(jìn)行操作采集Ajax網(wǎng)頁(yè)的動(dòng)態(tài)信息，基于同一站點(diǎn)同一類型Ajax網(wǎng)頁(yè)結(jié)構(gòu)相似性特點(diǎn)，在系統(tǒng)采集主題信息前增加預(yù)處理階段。預(yù)處理階段用來(lái)查找Ajax網(wǎng)頁(yè)中的有效觸發(fā)元素，并對(duì)有效觸發(fā)元素進(jìn)行規(guī)約和模