基于包裝器模型的文本信息抽取算法研究.pdf

1、隨著因特網(wǎng)技術的迅速發(fā)展，網(wǎng)上信息成幾何級數(shù)增長，如何自動處理這些海量聯(lián)機文本信息成為目前重要的研究課題。文本信息抽取是指從一段文本中抽取指定的信息(例如事件、事實)，并將其形成結構化的數(shù)據(jù)填入數(shù)據(jù)庫中供用戶查詢使用的過程。自動文本信息抽取是處理海量文本的重要手段之一。本文研究基于包裝器模型的文本信息抽取算法。 本文首先總結了三種常見文本信息抽取模型，對比了三種文本信息抽取模型的優(yōu)缺點，著重研究基于包裝器模型的文本信息抽取。在分

2、析了基于包裝器模型的文本信息抽取典型歸納學習算法的基礎上，利用頁面的一些重要特性，例如注釋和文本模式信息，提出了一種新的歸納學習算法，新算法將注釋信息加入到抽取規(guī)則的有限狀態(tài)機的狀態(tài)序列中，從而能有效地降低算法搜索時間，并能對目標信息進行充分的定位；并且新算法能用學習到的文本模式信息對抽取結果進行必要的過濾。分析和實驗結果表明新的算法具有較高的抽取精度和召回率。 針對WEB頁面結構多變、包裝器易于失效這個缺陷，本文提出了一種新的

3、包裝器平衡算法，該算法能利用頁面上一些不變的重要特性信息來確定數(shù)據(jù)項的位置，然后對包裝器進行修復，從而維持包裝器的平衡。實驗結果表明，新的算法能適應絕大多數(shù)WEB頁面的變動，能自動產(chǎn)生新的歸納學習算法，并且具有較高的抽取精度和召回率。 考慮到訓練數(shù)據(jù)的手工標記成本很高，本文將主動學習的一些算法應用到上述新提出的歸納學習算法中，用主動學習算法來選擇實用價值最高的信息來讓用戶標記，由此可有效地減少由于用戶盲目性而產(chǎn)生的過多的手工操作