頁面數(shù)據(jù)過濾技術(shù)研究與應(yīng)用.pdf

1、互聯(lián)網(wǎng)頁面數(shù)量的膨脹使得從海量頁面中獲取有用信息變得非常重要。然而，網(wǎng)頁包含的大量噪音信息（廣告、版權(quán)信息、導(dǎo)航信息等）給搜索引擎為頁面建立索引帶來了很大的干擾。這種對頁面噪音凈化的迫切需求，使得頁面數(shù)據(jù)過濾技術(shù)成為研究的熱點(diǎn)。
　　頁面數(shù)據(jù)過濾技術(shù)旨在對網(wǎng)頁中的充斥的大量與正文無關(guān)的且重復(fù)性高的噪音信息進(jìn)行識別，提取網(wǎng)頁中的主題相關(guān)內(nèi)容。目前已有很多學(xué)者根據(jù)網(wǎng)絡(luò)頁面特點(diǎn)提出各種頁面數(shù)據(jù)的凈化方法。本文深入分析了各種頁面凈化方法的

2、優(yōu)缺點(diǎn)和適用性，指出了現(xiàn)有的頁面凈化方法缺少對網(wǎng)頁的布局特征和視覺描述信息的充分利用等問題，并且針對現(xiàn)代主流商業(yè)網(wǎng)站基于“DIV+CSS”的頁面設(shè)計(jì)風(fēng)格，總結(jié)出頁面中同一div塊中的內(nèi)容具有同樣的語義特征，提出了DIV_FOREST網(wǎng)頁表示模型，并結(jié)合基于視覺特征的VIPS算法，提出了綜合考慮布局特征和視覺特征的DVPS網(wǎng)頁分塊算法。
　　在網(wǎng)頁分塊的基礎(chǔ)上，本文對各數(shù)據(jù)塊的空間位置、語義特征和視覺表現(xiàn)特征進(jìn)行提取、分析和量化表示

3、。給出了網(wǎng)頁數(shù)據(jù)塊是主題塊或者噪音塊的評判標(biāo)準(zhǔn)。至此，實(shí)現(xiàn)了應(yīng)用DVPS算法進(jìn)行頁面數(shù)據(jù)過濾的過程。然后，論文對新提出的DVPS算法與前人提出的VIPS算法在頁面過濾效果上做出比較，仿真結(jié)果證明，該算法在處理“CSS+DIV”類型的頁面時(shí)，表現(xiàn)出了預(yù)期的優(yōu)勢。最后，本文在之前頁面數(shù)據(jù)過濾工作的基礎(chǔ)上，將凈化后的頁面作為網(wǎng)頁分類器的輸入頁面，通過分類效果的評估來評判網(wǎng)頁凈化算法的效果。實(shí)驗(yàn)結(jié)果證明了本文提出的網(wǎng)頁塊劃分模型和頁面數(shù)據(jù)過濾方