面向動態(tài)網頁的定向信息提取模型的設計與實現.pdf

1、隨著Web2.0技術的出現以及快速發(fā)展，互聯網中出現了越來越多的動態(tài)網頁。Ajax技術實現了客戶端與服務器之間的異步數據傳輸操作，不僅提高了用戶的體驗度，而且促進了動態(tài)網頁的普及和互聯網的發(fā)展。但是，這也使得依據HTML源碼進行信息提取的傳統(tǒng)網絡爬蟲無法提取到動態(tài)網頁中的動態(tài)信息。因此，支持動態(tài)網頁的信息提取的研究具有一定的實踐意義。為此，本文提出了一種面向動態(tài)網頁的定向信息提取模型。
　　首先，分析了與動態(tài)網頁定向信息提取相關的

2、理論與技術，同時將研究對象Web頁面分為靜態(tài)網頁和動態(tài)網頁兩類，并對其進行了詳細的對比分析。在此基礎上，分析了動態(tài)網頁廣泛采用的Ajax技術對信息提取帶來的挑戰(zhàn)。最后，對超文本標記語言、DOM模型和正則表達式在信息提取中的作用進行了詳細介紹。
　　其次，分析了傳統(tǒng)網絡爬蟲爬取動態(tài)網頁的缺陷和不足，提出了一種面向動態(tài)網頁的定向信息提取模型。其工作流程為首先通過HTTP請求獲取網頁，然后采用HtmlUnit來解析與執(zhí)行動態(tài)腳本，并模擬

3、提交頁面表單；最后，利用jsoup構建DOM樹，從而提取頁面信息和URL，并存儲到數據庫中。
　　再次，結合所提出的面向動態(tài)網頁的定向信息提取模型，給出了各個組成模塊的具體實現方法：采用廣度優(yōu)先搜索策略爬取網站中的網頁，使用布隆過濾器對URL鏈接進行去重處理，利用正則表達式和jsoup選擇器提取網頁信息和URL鏈接，并采用多線程爬蟲技術來提高該模型的性能。
　　最后，基于所提出的面向動態(tài)網頁的信息提取模型，以燕山大學百度貼吧