基于結(jié)構(gòu)和內(nèi)容的Web數(shù)據(jù)抽取技術(shù)研究.pdf

1、目前的互聯(lián)網(wǎng)已經(jīng)發(fā)展成為擁有上億用戶和幾百萬個站點的巨大的分布式信息空間，而且其信息量仍在飛速增加，因此查詢網(wǎng)上信息變得日益重要。大多搜索引擎采用的方法是用戶提出需要查詢內(nèi)容的關(guān)鍵詞，搜索引擎根據(jù)關(guān)鍵詞確定查尋的內(nèi)容。由于這種方法不能對網(wǎng)頁中較細節(jié)的信息進行查詢，所以研究人員希望借鑒一些數(shù)據(jù)庫技術(shù)進行互聯(lián)網(wǎng)上信息的查詢，因此如何從Web(環(huán)球網(wǎng))頁面，特別是從HTML(HyperTextMarkupLanguage：超文本標識語言)文檔

2、中抽取有用信息，已經(jīng)成為基于Web頁面的信息檢索系統(tǒng)迫切需要解決的問題?；谏鲜霰尘?，本文做了以下幾個方面的工作。 首先，對目前抽取準確度和完整程度最好的EXALG方法進行了深入分析，指出EXALG系統(tǒng)中存在著成對標簽不一致，模板中的文字節(jié)點出現(xiàn)多個出現(xiàn)向量，等價類識別錯誤等問題。 其次，提出了一個改進的數(shù)據(jù)抽取方法，即EXALG+；給出有關(guān)定義和抽取流程；提出等價類的近似順序性和近似嵌套性概念。采取具體的標簽技術(shù)解決E

3、XALG存在的問題：進行標記的角色區(qū)分時，將配對的標簽放在一起加以處理；通過合并文字節(jié)點，使標簽滿足系統(tǒng)設(shè)定的最小支持度；利用DOM樹的路徑和等價類的區(qū)間位置差異來區(qū)分正確等價類；選擇加入到與標記相近的等價類中的方法，來處理等價類分割時產(chǎn)生的問題。使用每種標簽技術(shù)時都給出了實例，并給出了EXALG+算法描述。 最后，利用EXALG作者給出的數(shù)據(jù)源和實驗結(jié)果，在添加了部分新的頁面實例后，驗證EXALG+系統(tǒng)在準確度和完整程度方面的