學(xué)術(shù)主頁(yè)信息抽取系統(tǒng)的研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，海量的數(shù)據(jù)以網(wǎng)頁(yè)的形式發(fā)布到互聯(lián)網(wǎng)上。傳統(tǒng)的網(wǎng)頁(yè)是面向用戶而設(shè)計(jì)的，人們可以通過(guò)瀏覽器可視化的閱讀信息。然而對(duì)于機(jī)器來(lái)說(shuō)，這些信息是難以理解的，不僅僅是因?yàn)槠涫褂米匀徽Z(yǔ)言，也因?yàn)榫W(wǎng)頁(yè)的表達(dá)形式具有隨意性。網(wǎng)頁(yè)信息抽取技術(shù)是一種對(duì)網(wǎng)頁(yè)進(jìn)行深度分析的技術(shù)，其主要目的是自動(dòng)的從非結(jié)構(gòu)化的文檔中抽取出結(jié)構(gòu)化的信息。由于網(wǎng)頁(yè)主要使用自然文本描述，因此同樣面臨著同文本信息抽取相似的問(wèn)題與挑戰(zhàn)。
　　 LineX是一個(gè)學(xué)

2、術(shù)主頁(yè)抽取系統(tǒng)，系統(tǒng)能夠自動(dòng)化的發(fā)現(xiàn)學(xué)術(shù)個(gè)人主頁(yè)并從學(xué)術(shù)主頁(yè)上抽取出作者的個(gè)人信息和每年發(fā)表文章的信息。抽取結(jié)果經(jīng)過(guò)進(jìn)一步分析被集成到文獻(xiàn)檢索系統(tǒng)中。由于作者主頁(yè)在風(fēng)格和內(nèi)容上都存在差異，因此基于規(guī)則的抽取方法往往無(wú)法取得很好的效果。LineX的核心抽取算法基于機(jī)器學(xué)習(xí)方法，包括支持向量機(jī)模型和條件隨機(jī)場(chǎng)模型，其中支持向量機(jī)主要用來(lái)對(duì)信息進(jìn)行分類，而條件隨機(jī)場(chǎng)則用來(lái)對(duì)信息進(jìn)行字段分割提取。系統(tǒng)首先利用HTML標(biāo)簽的語(yǔ)義特征將頁(yè)面分割成文

3、本單元。然后對(duì)文本單元進(jìn)行分類和字段提取，之后進(jìn)行裁剪和規(guī)范化映射。在抽取過(guò)程中，系統(tǒng)充分利用利用了網(wǎng)頁(yè)所提供的額外信息，包括標(biāo)題，DOM樹(shù)，標(biāo)簽分隔等。此外針對(duì)機(jī)器學(xué)習(xí)算法在一些情況下的盲點(diǎn)，使用了啟發(fā)式規(guī)則來(lái)進(jìn)行輔助，提高了整體的抽取效果。
　　 經(jīng)過(guò)對(duì)互聯(lián)網(wǎng)的數(shù)據(jù)進(jìn)行隨機(jī)抽樣和測(cè)試，結(jié)果表明系統(tǒng)對(duì)頁(yè)面的變化具有較強(qiáng)的適應(yīng)能力，在各項(xiàng)信息的抽取準(zhǔn)確率上都達(dá)到的較高的水平。實(shí)驗(yàn)同時(shí)說(shuō)明詞典特征和HTML特征對(duì)最終的識(shí)別率起到了