基于多特征的網(wǎng)頁信息抽取技術(shù)的研究與應(yīng)用.pdf

1、隨著Internet的高速發(fā)展，互聯(lián)網(wǎng)上的信息越來越多，呈現(xiàn)爆炸式增長，以互聯(lián)網(wǎng)信息為數(shù)據(jù)基礎(chǔ)的云計算和大數(shù)據(jù)分析技術(shù)隨之興起。然而，在互聯(lián)網(wǎng)上，所有的網(wǎng)頁不僅含有重要信息，同時也包含了與主題信息無關(guān)的噪聲信息，比如廣告信息，導(dǎo)航欄等。它們嚴(yán)重影響了信息抽取的準(zhǔn)確性，因而網(wǎng)頁信息抽取技術(shù)的研究應(yīng)運而生，成為研究的熱點。
　　另一方面，在現(xiàn)有的網(wǎng)頁信息抽取方法中，其重點在于區(qū)分頁面的重要信息和噪聲信息，提高重要信息抽取的準(zhǔn)確性和效率

2、性，但對于抽取后網(wǎng)頁信息數(shù)據(jù)卻缺乏形式化組織，導(dǎo)致獲取的重要信息相互雜糅在一起，形成了無法區(qū)分的整段信息，無法對重要信息再進(jìn)行分類，導(dǎo)致抽取的網(wǎng)頁信息粒度較粗，在后續(xù)應(yīng)用中可用性較差。
　　本文介紹了網(wǎng)頁信息抽取技術(shù)的發(fā)展、原理和相關(guān)技術(shù)，深入討論了現(xiàn)有網(wǎng)頁信息抽取技術(shù)，重點研究了VIPS算法。本文主要研究點如下:
　　(1)針對現(xiàn)有網(wǎng)頁信息形式化組織的缺乏，本文提出了一種網(wǎng)頁信息形式化描述，在清除了網(wǎng)頁噪聲信息的基礎(chǔ)上，將

3、原有網(wǎng)頁重要信息的粗粒度進(jìn)行細(xì)分，針對互聯(lián)網(wǎng)中比重最大的門戶類網(wǎng)站，我們將網(wǎng)頁重要信息描述為主題，發(fā)表日期，瀏覽次數(shù)，正文信息，多媒體信息，評論信息等形式化結(jié)構(gòu)，同時為每部分形式化描述設(shè)置不同權(quán)重，根據(jù)信息抽取結(jié)果中是否存在相應(yīng)部分來判斷單個網(wǎng)頁的信息抽取的準(zhǔn)確性。同時抽取的重要信息通過形式化描述進(jìn)行了細(xì)化，形成了更加規(guī)范和嚴(yán)格的數(shù)據(jù)組織形式，為以后的數(shù)據(jù)分析和其他應(yīng)用提供了更高的可用性。
　　(2)針對現(xiàn)有信息抽取算法對本文提出

4、的網(wǎng)頁信息形式化組織支持方面的缺乏以及現(xiàn)有抽取技術(shù)的不足，本文提出了一種針對網(wǎng)頁信息形式化組織的基于VIPS算法改進(jìn)的網(wǎng)頁信息抽取技術(shù)。本技術(shù)結(jié)合了DOM結(jié)構(gòu)和視覺特征兩方面，采用自上而下，逆序解析DOM結(jié)構(gòu)，同時利用視覺特征和DOM結(jié)構(gòu)特征作為信息抽取的依據(jù)，將標(biāo)簽分塊和視覺分塊相互結(jié)合，同時根據(jù)網(wǎng)頁信息的形式化描述結(jié)構(gòu)對塊進(jìn)行分類，對于同屬一個形式化描述結(jié)構(gòu)的相似塊，根據(jù)其標(biāo)簽路徑等特征對相似塊進(jìn)行合并，最終將網(wǎng)頁抽取的重要信息根據(jù)

5、其形式化描述分成不同塊，此技術(shù)綜合了網(wǎng)頁DOM結(jié)構(gòu)和視覺特征的優(yōu)勢，提高了網(wǎng)頁信息抽取的準(zhǔn)確率。
　　最后，將本文提出的信息抽取方法與其他傳統(tǒng)的信息抽取算法進(jìn)行了比較，并將其抽取結(jié)果應(yīng)用于提出的網(wǎng)頁信息形式化組織。經(jīng)過仿真實驗表明，本文提出的網(wǎng)頁信息形式化描述更規(guī)范，更有利用價值，同時提出的方法抽取信息具有更高的分類準(zhǔn)確性。最終我們將其在現(xiàn)有的傳統(tǒng)網(wǎng)頁移動化系統(tǒng)中進(jìn)行了應(yīng)用試驗，實例是基于青島某大學(xué)的PC網(wǎng)站設(shè)計的移動校園網(wǎng)站，該