基于Gate框架的信息抽取系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著Internet技術(shù)的不斷發(fā)展及其應(yīng)用的深入，Web儼然已經(jīng)成為全球最大的虛擬資料庫(kù)，可用的信息正呈指數(shù)級(jí)增長(zhǎng)。如何有效地利用這些信息成為人們的重要研究課題，因此出現(xiàn)了大量以Web作為信息源的技術(shù)和應(yīng)用，其中Web信息抽取技術(shù)在近年來(lái)引起了越來(lái)越多的研究者關(guān)注。 由于Web頁(yè)面缺乏規(guī)范的語(yǔ)法結(jié)構(gòu)，所以傳統(tǒng)的自然語(yǔ)言處理技術(shù)并不能很好的適用于Web信息抽取，另外Web頁(yè)面中的大部分內(nèi)容都以屬性列表的形式呈現(xiàn)，如果把Web的這種

2、結(jié)構(gòu)特征應(yīng)用于信息抽取，就可以避免使用復(fù)雜的語(yǔ)言學(xué)知識(shí)。因此，如何將基于自然語(yǔ)言理解方式和基于結(jié)構(gòu)方式有效的結(jié)合起來(lái)克服各自的缺點(diǎn)，混合使用各種方法進(jìn)行信息抽取成為當(dāng)前研究的重點(diǎn)之一。 本文結(jié)合自然語(yǔ)言處理技術(shù)和HTML頁(yè)面結(jié)構(gòu)特征在信息抽取中的應(yīng)用，進(jìn)行了以下研究工作： 1．提出一種基于命名實(shí)體標(biāo)注的DOM樹(shù)(NE-DOM)分析方法進(jìn)行信息抽取。該方法利用自然語(yǔ)言處理中命名實(shí)體識(shí)別技術(shù)對(duì)文檔進(jìn)行標(biāo)注來(lái)提供簡(jiǎn)單的語(yǔ)義信息

3、；然后在此基礎(chǔ)上構(gòu)建NE-DOM，通過(guò)對(duì)NE-DOM結(jié)構(gòu)的分析產(chǎn)生基于XPath的抽取規(guī)則。 2．在NE-DOM分析的過(guò)程中提出了基于競(jìng)爭(zhēng)分類(lèi)的BOI(用戶(hù)感興趣區(qū)域)確定算法，該算法可以顯著的降低噪聲數(shù)據(jù)對(duì)抽取結(jié)果的影響。同時(shí)在抽取過(guò)程中使用了大量成熟的XMI，技術(shù)來(lái)提高抽取的效率。 3．研究了Sheffield大學(xué)的自然語(yǔ)言處理平臺(tái)Gate，并在此基礎(chǔ)上設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)基于上述原理的信息抽取原型系統(tǒng)GateWeblE