基于Hadoop的Deep Web查詢結(jié)果自動抽取研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展與廣泛應(yīng)用,網(wǎng)絡(luò)提供給用戶的資源與日俱增。特別是不能被傳統(tǒng)搜索引擎通過靜態(tài)鏈接而獲取的海量信息資源規(guī)模增長顯著,這部分資源稱為深層網(wǎng)(Deep Web)。關(guān)于Deep Web的研究,是近年來Web數(shù)據(jù)管理方向的研究熱點。
　　Deep Web中的信息是通過在特定查詢接口提交查詢后,以結(jié)果頁面的方式顯示,對Deep Web查詢結(jié)果進行抽取,將信息資源進行集成,使其以統(tǒng)一的模式進行存儲,才能為用戶提供更好的、統(tǒng)

2、一的索引服務(wù)。因此,Deep Web查詢結(jié)果抽取是Deep Web數(shù)據(jù)集成系統(tǒng)中的關(guān)鍵步驟。
　　本文主要對基于DOM樹結(jié)構(gòu)與模板方法相結(jié)合的抽取算法進行了深入的研究,主要研究及成果如下:
　?、偕钊胙芯勘容^了幾種主要的抽取技術(shù),重點對基于DOM樹結(jié)構(gòu)與基于模板的抽取算法進行了詳細的介紹,并對各種技術(shù)在復(fù)雜性、適用范圍和自動化程度等方面進行了分析與比較;
　　②綜合基于DOM樹結(jié)構(gòu)與基于模板抽取算法的優(yōu)點,提出了基于D

3、OM樹結(jié)構(gòu)與模板方法相結(jié)合的抽取算法FIME(Filtering, Iterating, Matching, and Extracting)算法,FIME算法在進行DOM樹結(jié)構(gòu)比較之前,首先對頁面進行預(yù)處理操作,使頁面遵守XHTML規(guī)則,同時清除頁面中對于抽取信息無用的標(biāo)簽及部分屬性元素,使得頁面更精簡,以提高后續(xù)匹配算法的效率;
　?、坩槍贒OM樹結(jié)構(gòu)抽取算法中回溯處理頁面中冗余迭代項導(dǎo)致匹配算法復(fù)雜度高的問題,FIME在進

4、行匹配之前首先對頁面中的迭代項進行合并,降低了后續(xù)匹配算法的時間復(fù)雜度;
　　④結(jié)合基于模板抽取算法的思想,FIME將在匹配算法中通過比較 DOM樹結(jié)構(gòu)而獲得的待抽取數(shù)據(jù)的位置信息作為同一網(wǎng)站頁面的模板Wrapper,對所有同源頁面進行待抽取信息的自動抽取,而不是對同源結(jié)構(gòu)相似的頁面做重復(fù)的處理,提高信息抽取的效率和自動化程度。
　　由于Deep Web查詢結(jié)果頁面返回時為海量數(shù)據(jù),基于單一節(jié)點的抽取算法存在計算瓶頸。目前,