基于本體的自適應(yīng)Web信息抽取方法研究.pdf

1、互聯(lián)網(wǎng)的快速發(fā)展產(chǎn)生了海量的信息，由于Web頁面的多樣性和異構(gòu)性，對(duì)這些的信息進(jìn)行檢索和處理受到很大的限制，而Web信息抽取則致力于將這些信息轉(zhuǎn)化成結(jié)構(gòu)化的數(shù)據(jù)，滿足垂直搜索引擎和數(shù)據(jù)挖掘等相關(guān)應(yīng)用。同時(shí)，為了實(shí)現(xiàn)語義網(wǎng)的目標(biāo)，賦予Web意義，需要對(duì)Web上的內(nèi)容進(jìn)行標(biāo)注，基于本體的信息抽取可以產(chǎn)生用于語義網(wǎng)的元數(shù)據(jù)標(biāo)注信息，將Web信息轉(zhuǎn)化成機(jī)器方便處理的數(shù)據(jù)，即語義網(wǎng)有效的數(shù)據(jù)。
　　 在農(nóng)業(yè)領(lǐng)域，互聯(lián)網(wǎng)上積累了豐富的農(nóng)業(yè)相

2、關(guān)信息資源，包括供求信息、價(jià)格信息、農(nóng)業(yè)技術(shù)、市場動(dòng)態(tài)、農(nóng)業(yè)新聞、農(nóng)業(yè)企業(yè)、農(nóng)業(yè)視頻等，但缺少一致的語義表達(dá)形式，很難充分發(fā)揮這些資源的作用。此外，由于農(nóng)業(yè)領(lǐng)域相關(guān)用戶自身知識(shí)結(jié)構(gòu)水平的限制，在獲取所需要的信息時(shí)更加困難，而農(nóng)業(yè)垂直搜索引擎則可以彌補(bǔ)這方面的不足，實(shí)現(xiàn)異構(gòu)分散數(shù)據(jù)的集成，通過構(gòu)建滿足用戶需求的專業(yè)搜索引擎，解決“三農(nóng)”用戶在面對(duì)海量農(nóng)業(yè)Web資源時(shí)的信息獲取瓶頸問題。本文以研究Web環(huán)境下基于本體的信息抽取方法為基礎(chǔ)，為

3、農(nóng)業(yè)垂直搜索引擎（中國搜農(nóng)）和農(nóng)業(yè)數(shù)據(jù)挖掘應(yīng)用提供有效的數(shù)據(jù)支持，服務(wù)于國家的農(nóng)業(yè)信息化建設(shè)為目標(biāo)，開展了相關(guān)的研究。論文的主要工作內(nèi)容總結(jié)如下：
　　 (1)針對(duì)互聯(lián)網(wǎng)上網(wǎng)頁數(shù)據(jù)的開放性、異構(gòu)性、演化性等特征，構(gòu)建了一種基于本體的自適應(yīng)Web信息抽取模型。模型采用模塊化的結(jié)構(gòu)搭建，實(shí)現(xiàn)抽取算法與領(lǐng)域本體知識(shí)之間的分離，以及模塊功能的復(fù)用，方便系統(tǒng)功能的動(dòng)態(tài)更新，減少信息抽取系統(tǒng)在跨領(lǐng)域移植時(shí)的開銷。
　　 (2)針對(duì)傳

4、統(tǒng)方法在構(gòu)建本體時(shí)需要大量的人工開銷和維護(hù)困難等問題，發(fā)揮Web資源的作用，提出了一種基于Web的無監(jiān)督本體構(gòu)建方法。該方法通過查詢Web獲取領(lǐng)域本體相關(guān)的資源，結(jié)合句法分析技術(shù)實(shí)現(xiàn)本體的學(xué)習(xí)，可以解決傳統(tǒng)方法構(gòu)建本體時(shí)語料庫在規(guī)模上的限制，自適應(yīng)Web知識(shí)的演化。以提出的方法為基礎(chǔ)，構(gòu)建了蛋白質(zhì)交互關(guān)系本體。
　　 (3)針對(duì)語義網(wǎng)和Linked Data的發(fā)展需求，實(shí)現(xiàn)網(wǎng)頁的元數(shù)據(jù)標(biāo)注和挖掘不同數(shù)據(jù)之間的關(guān)系，提出了一種基于

5、本體的命名實(shí)體關(guān)系抽取方法。通過分析命名實(shí)體之間關(guān)系表達(dá)的語法結(jié)構(gòu)和關(guān)系表達(dá)詞，實(shí)現(xiàn)關(guān)系的抽取，實(shí)驗(yàn)采用生物文獻(xiàn)公共語料庫對(duì)算法進(jìn)行了檢驗(yàn)，抽取蛋白質(zhì)相互作用關(guān)系，并取得了滿意的效果。提出的算法對(duì)抽取的句子實(shí)行單遍遍歷，實(shí)現(xiàn)適應(yīng)Web規(guī)模的文本關(guān)系抽取時(shí)的計(jì)算效率問題。
　　 (4)針對(duì)AJAX技術(shù)的廣泛使用，而傳統(tǒng)的爬蟲無法獲取、分析和處理這些內(nèi)容，我們提出了一種基于領(lǐng)域本體的多記錄型AJAX數(shù)據(jù)抽取模型。該模型可以有效的發(fā)現(xiàn)

6、網(wǎng)頁中含有的動(dòng)態(tài)AJAX內(nèi)容，在領(lǐng)域本體的指導(dǎo)下，實(shí)現(xiàn)對(duì)數(shù)據(jù)的抽取和語義標(biāo)注。實(shí)驗(yàn)以農(nóng)產(chǎn)品供求和價(jià)格實(shí)體數(shù)據(jù)為例，驗(yàn)證了抽取方法的有效性。
　　 (5)針對(duì)基于包裝器或規(guī)則的方法在抽取單記錄型HTML頁面時(shí)，無法適應(yīng)頁面結(jié)構(gòu)變化等不足，提出了一種采用統(tǒng)計(jì)學(xué)習(xí)方法實(shí)現(xiàn)的基于實(shí)體屬性分類的單記錄型Web頁面信息抽取和標(biāo)注模型。該模型對(duì)抽取內(nèi)容的頁面結(jié)構(gòu)特征進(jìn)行分析，通過構(gòu)建相應(yīng)的屬性分類器識(shí)別頁面中含有的實(shí)體屬性，實(shí)現(xiàn)自適應(yīng)頁面結(jié)構(gòu)