基于相似性比較的Web信息抽取與集成.pdf

1、網(wǎng)頁瀏覽和搜索引擎的關(guān)鍵字檢索是人們從Internet上獲取信息的傳統(tǒng)方法，其局限性主要表現(xiàn)在：網(wǎng)頁瀏覽方式很難在Internet上定何特定的知識；搜索引擎則很容易將所需知識淹沒在大量的無關(guān)網(wǎng)頁中。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，目前出現(xiàn)了一些全新的基于Web的應(yīng)用，例如監(jiān)控股票市場的及時行情，比較各個站點(diǎn)的商品價格等等，在此情形下僅憑搜索引擎和Web查詢等技術(shù)已無法滿足這些新興的需求。為解決這一問題，Web信息抽取技術(shù)應(yīng)運(yùn)而生，并幫助人們從網(wǎng)絡(luò)所

2、提供的大量信息中提煉出其所關(guān)心的特定部分信息。與信息檢索技術(shù)不同，Web信息抽取技術(shù)側(cè)重于從web文檔集合中發(fā)現(xiàn)相關(guān)文檔，并從中抽出用戶關(guān)心的數(shù)據(jù)。 在目前絕大部分基于Web的應(yīng)用中，往往是將大量的數(shù)據(jù)保存在網(wǎng)站的后臺數(shù)據(jù)庫中，當(dāng)用戶提出某種信息需求時，Web服務(wù)器即根據(jù)用戶的查詢要求或條件將相關(guān)數(shù)據(jù)注入網(wǎng)頁模板中，動態(tài)的生成Web頁面以展示用戶所需要的信息。在這類應(yīng)用中有一個特性，即Web頁面中的數(shù)據(jù)記錄間具有極高的結(jié)構(gòu)相似性

3、，并且Web數(shù)據(jù)記錄對應(yīng)的DOM子樹間也具有很高的結(jié)構(gòu)相似性。因此，本文首先從分析Web文檔與DOM樹的對應(yīng)關(guān)系及其規(guī)律入手，借鑒網(wǎng)頁去噪的剪枝思想，提出一種基于相似性比較的信息抽取算法，即DES算法，該算法通過對基于同一模板的兩個相似網(wǎng)頁內(nèi)容相似度的比較，準(zhǔn)確定位網(wǎng)頁中的數(shù)據(jù)區(qū)域，并在此基礎(chǔ)上，分析數(shù)據(jù)區(qū)域中數(shù)據(jù)項(xiàng)之間的結(jié)構(gòu)相似性，識別數(shù)據(jù)項(xiàng)，從而實(shí)現(xiàn)對Web信息以數(shù)據(jù)記錄的形式進(jìn)行抽取。另外，為對所抽取的Web信息做進(jìn)一步的處理，本