Web信息智能抽取技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著我國經(jīng)濟(jì)的迅速發(fā)展，國家信息基礎(chǔ)設(shè)施建設(shè)強(qiáng)度加大加強(qiáng)和人民生活質(zhì)量的提高，網(wǎng)絡(luò)已經(jīng)深入人們生活的方方面面，成為工作或生活中不可缺少的一部分，怎樣快速有效的獲取Web上的信息，已經(jīng)成為了一個重要的研究課題。但是網(wǎng)絡(luò)上的信息種類繁多、網(wǎng)頁結(jié)構(gòu)形式多變，大多數(shù)網(wǎng)頁上還包含了許多廣告、導(dǎo)航、熱點(diǎn)鏈接等噪音信息，這些問題給研究者帶來了很大的困擾。而目前的信息抽取技術(shù)還存在很多不足：如僅能處理一種類型網(wǎng)頁，提取的信息細(xì)化程度低，準(zhǔn)確率與效率矛盾

2、、人工干預(yù)與智能化操作、不支持增量信息處理等問題。這就迫切需要一種全新的信息提取方法來解決這些問題，本課題就是在這種需求下產(chǎn)生的。本文主要采用的是模板化的信息提取算法，先利用規(guī)則生成器識別網(wǎng)頁上的目標(biāo)實(shí)體分隔符，然后由模板生成器把這些分割標(biāo)記配置到模板中，最后由信息抽取器根據(jù)模板提取該站點(diǎn)的相關(guān)信息。具體創(chuàng)新點(diǎn)或關(guān)鍵技術(shù)如下： 1、通過分析的站點(diǎn)網(wǎng)頁結(jié)構(gòu)，分析網(wǎng)頁結(jié)構(gòu)布局形式和標(biāo)簽的分布規(guī)律，并結(jié)合目前國內(nèi)外的信息抽取技術(shù)，發(fā)明

3、了一套可以定義任何網(wǎng)頁結(jié)構(gòu)形式的模板，并設(shè)計(jì)出了一套模板自動配置方案； 2、設(shè)計(jì)了信息抽取器：實(shí)現(xiàn)了讀取模板，以及根據(jù)模板配置進(jìn)行信息抽取的方法，并在此過程中增加了信息增量/多頁處理算法：采用增量/多頁算法來解決同一主題的內(nèi)容分布在多個網(wǎng)頁的問題，即需要進(jìn)行融合計(jì)算，以及解決不同時(shí)間段，主題網(wǎng)頁內(nèi)容動態(tài)更新的問題，即要進(jìn)行增量提?。蝗ブ靥幚硭惴ǎ禾幚碚军c(diǎn)間相似或相同主題重復(fù)問題； 3、結(jié)果的結(jié)構(gòu)化存儲：根據(jù)模板的配置，提