基于腳本代碼和局部數(shù)據(jù)匹配的網(wǎng)頁抽取研究.pdf

1、隨著互聯(lián)網(wǎng)地高速發(fā)展，Internet在我們?nèi)粘５纳钪邪缪菰絹碓街匾慕巧蔀槲覀兩詈凸ぷ髦斜夭豢缮俚囊徊糠?。網(wǎng)絡(luò)地高速發(fā)展帶來了網(wǎng)絡(luò)信息地爆炸式增長，而網(wǎng)絡(luò)用戶對信息的需求也越來越高。作為Web信息的主要載體，網(wǎng)頁的結(jié)構(gòu)越來越復(fù)雜，網(wǎng)頁內(nèi)容也越來越豐富。但Web上的信息都是半結(jié)構(gòu)化或非結(jié)構(gòu)化的，主要以HTML語言的形式出現(xiàn)，不能直接用于分析處理。因此，如何將Web上信息抽取出來，以便用戶根據(jù)自身需要對數(shù)據(jù)加以分析，成為現(xiàn)今數(shù)據(jù)抽

2、取方面的研究熱點。
　　 網(wǎng)頁信息抽取按其自動化程度可以分為:手工抽取、半自動抽取、全自動抽取，全自動化網(wǎng)頁信息抽取技術(shù)已經(jīng)成為網(wǎng)頁信息抽取的主要發(fā)展趨勢。其過程是:1）首先將網(wǎng)頁代碼轉(zhuǎn)換成相應(yīng)的DOM結(jié)構(gòu)，聚類DOM結(jié)構(gòu)相似的網(wǎng)頁;2）接受兩個同類頁面，一個作為樣本，另一個作為頁面包裝器(wrapper)，之后符號化輸入頁面，通過頁面中字符串和標記的符號歸納規(guī)則，生成對應(yīng)的包裝器;3）通過包裝器完成對其他同類頁面的抽取。然而，

3、面對現(xiàn)實中結(jié)構(gòu)復(fù)雜、變化迅速的Web頁面，基于DOM結(jié)構(gòu)的聚類方法存在準確性差、時間代價高等問題，且當(dāng)頁面的DOM結(jié)構(gòu)發(fā)生改變，特別是層次性變化時，包裝器經(jīng)常出現(xiàn)失效的情況。本文提出了一套新型的抽取方法，首先把嵌入在網(wǎng)頁中腳本代碼轉(zhuǎn)換成控制代碼樹，采用動態(tài)規(guī)劃算法求樹之間的最小編輯距離，將小于閾值的網(wǎng)頁聚為一類，之后采取局部數(shù)據(jù)特征匹配等強容錯性抽取策略自動生成包裝器，完成對同類網(wǎng)頁的抽取。
　　 本文的創(chuàng)新點以及研究貢獻主要有

4、以下幾方面:1.首次定義和提出控制代碼樹的概念并將其作為近似頁面聚類的依據(jù)，控制代碼樹更能體現(xiàn)同類模板網(wǎng)頁特性且其樹節(jié)點規(guī)模遠小于DOM樹。2.本文結(jié)合研究背景，提出了一套基于動態(tài)規(guī)劃思想的樹編輯距離算法，在O(n3)完成編輯距離的求解。3.采用局部特征匹配、關(guān)鍵數(shù)據(jù)區(qū)域劃分等強容錯性抽取策略生成包裝器，在一定程度上過濾了廣告等無用信息，修正了由于標簽缺失增補而引起的包裝器失效等問題。相比于傳統(tǒng)方法，包裝器的抽取準確性和魯棒性有明顯提高