定制化Web信息抓取與推送技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，人們進(jìn)入信息爆炸時(shí)代，高效獲取Web信息成為人們的迫切需求。當(dāng)前主流的信息獲取方式存在靈活性差、及時(shí)性差、缺少整合等不足，為此，論文提出一種定制化的Web信息抓取與推送方案，使用該方案，用戶可指定感興趣的網(wǎng)頁(yè)及其中的關(guān)注點(diǎn)，服務(wù)器自動(dòng)將該關(guān)注點(diǎn)的更新推送給用戶。
　　為定位有效的Web信息，論文研究了網(wǎng)頁(yè)內(nèi)容的定位方式，提出一種可交互的操作方式，輔助用戶將網(wǎng)頁(yè)關(guān)注點(diǎn)轉(zhuǎn)換為規(guī)則。為實(shí)現(xiàn)高效的動(dòng)態(tài)網(wǎng)頁(yè)抓取，論文研

2、究了在服務(wù)器端進(jìn)行網(wǎng)頁(yè)渲染的關(guān)鍵技術(shù)，提出了一種高效的服務(wù)器端網(wǎng)頁(yè)渲染方案。
　　論文的主要貢獻(xiàn)有:
　　1.提出一種可交互的操作方式，輔助用戶將網(wǎng)頁(yè)關(guān)注點(diǎn)轉(zhuǎn)換為計(jì)算機(jī)可處理的規(guī)則。為了在服務(wù)器端自動(dòng)定位用戶的關(guān)注點(diǎn)，論文基于XPath表達(dá)式設(shè)計(jì)網(wǎng)頁(yè)定位規(guī)則，并實(shí)現(xiàn)了自動(dòng)化的XPath生成功能。
　　2.基于云計(jì)算環(huán)境提出一種可縮放的動(dòng)態(tài)網(wǎng)頁(yè)渲染方案，適用于大規(guī)模高并發(fā)的網(wǎng)頁(yè)渲染和信息提取。為實(shí)現(xiàn)高效的動(dòng)態(tài)網(wǎng)頁(yè)抓取，論