特定領(lǐng)域的Deep Web數(shù)據(jù)抽取與語義標(biāo)注研究.pdf

1、隨著Internet技術(shù)的飛速發(fā)展，隱藏在Web后臺(tái)數(shù)據(jù)庫中的信息資源因?yàn)槠鋽?shù)據(jù)量大、結(jié)構(gòu)完整受到了廣泛關(guān)注，這些信息資源通常是由用戶在Web查詢頁面提交查詢請(qǐng)求后，以HTML頁面為中介展示給用戶的。學(xué)者們通常將這些信息資源稱之為Deep Web資源。為了最大程度的利用這些Deep Web資源，需要通過各種技術(shù)手段將網(wǎng)頁中的無結(jié)構(gòu)或者半結(jié)構(gòu)化信息抽取出來。同時(shí)為了使抽取到的信息具有更高的使用價(jià)值，應(yīng)該對(duì)這些數(shù)據(jù)進(jìn)行語義標(biāo)注，使其能夠被機(jī)

2、器所理解。
　　 本文對(duì)特定領(lǐng)域的Deep Web的數(shù)據(jù)抽取與語義標(biāo)注進(jìn)行了研究，將節(jié)點(diǎn)的類型信息引入到數(shù)據(jù)記錄的抽取中來，并基于本體實(shí)現(xiàn)了語義標(biāo)注，最后結(jié)合自身參與的項(xiàng)目設(shè)計(jì)了一個(gè)原型系統(tǒng)。本文的研究工作主要包括以下幾點(diǎn)：
　　 1)簡要概述了信息抽取的發(fā)展歷史、評(píng)價(jià)標(biāo)準(zhǔn)和所涉及的相關(guān)技術(shù)，并對(duì)現(xiàn)有的信息抽取方法進(jìn)行了深入的分析。
　　 2)結(jié)合Deep Web結(jié)果頁面自身的特點(diǎn)，利用頁面布局的視覺特征和內(nèi)容特

3、征，提出了一種利用標(biāo)簽過濾器、視覺特征過濾器、內(nèi)容規(guī)則過濾器的頁面凈化方法。實(shí)驗(yàn)結(jié)果表明，該方法可以有效提高后續(xù)數(shù)據(jù)抽取的效率與精度。
　　 3)提出一種基于節(jié)點(diǎn)類型的數(shù)據(jù)記錄抽取方法，該方法首先將HTML標(biāo)簽節(jié)點(diǎn)分為塊、樣式、文本、圖片四種類型，并對(duì)每一種類型賦予一個(gè)權(quán)值，其次根據(jù)不同的節(jié)點(diǎn)類型來計(jì)算結(jié)果頁面數(shù)據(jù)記錄中各屬性節(jié)點(diǎn)的熵值，最后通過此熵值來確定代表數(shù)據(jù)記錄的節(jié)點(diǎn)，實(shí)現(xiàn)數(shù)據(jù)記錄節(jié)點(diǎn)的抽取。與其他方法相比，該方法具有更