基于頁面淺語義化表示和條件隨機(jī)域的WEB信息抽取研究.pdf

1、Web信息抽取(Web Information Extraction)是當(dāng)前Web信息處理中的重要課題。其主要任務(wù)是對頁面中的目標(biāo)數(shù)據(jù)進(jìn)行分析，進(jìn)而進(jìn)行語義標(biāo)注。具有語義標(biāo)記的數(shù)據(jù)可精確地回答用戶的查詢，有極廣闊的應(yīng)用前景。目前，Web信息抽取技術(shù)以知識工程、自然語言處理和統(tǒng)計學(xué)習(xí)為基礎(chǔ)。其中基于統(tǒng)計學(xué)習(xí)的技術(shù)是當(dāng)前研究的熱點。 本文將信息抽取問題分為特征獲取、頁面淺語義化表示和信息抽取(語義標(biāo)注)三個部分，分別進(jìn)行研究，并通過

2、實驗分析來驗證方法的有效性。 在特征提取部分引入了文本主題和頁面分隔線兩類特征。在比較特征權(quán)重計算、特征選擇方法、分類器和中文分詞技術(shù)的基礎(chǔ)上，構(gòu)建并簡化了用于獲取文本主題特征的文本分類模塊。在Sogou語料庫上兩次文本分類實驗的平均F1值為81.25％。本文還將圖像識別方法用于頁面分隔線的提取，實驗表明該方法能較為準(zhǔn)確地提取頁面分隔線。 在頁面淺語義化表示部分，首先提出了簡化HTML布局規(guī)則和頁面代碼的頁面結(jié)構(gòu)調(diào)整算法

3、，該算法用HTML擴(kuò)展子集重新描述頁面，這種最簡描述較好地解決了因頁面模型復(fù)雜化而導(dǎo)致算法適應(yīng)能力下降的問題。然后研究了基于分隔線和混合距離的頁面分塊算法，以分離頁面中內(nèi)容不相關(guān)的塊，獲取頁面的塊語義。實驗表明，在分塊任務(wù)中結(jié)構(gòu)調(diào)整和分隔線特征分別使F1值提高了+8.43％和+12.8％。 在信息抽取部分，將層次條件隨機(jī)域(HCRF)模型用于標(biāo)注頁面數(shù)據(jù)的語義。研究了頁面特征組合，以及頁面淺語義化表示和文本主題特征對信息抽取性能