網(wǎng)頁消重技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著Internet的發(fā)展及其廣泛應(yīng)用，網(wǎng)絡(luò)信息呈爆炸式增長，互聯(lián)網(wǎng)已經(jīng)成為了人們獲取信息的重要來源。為了能幫助人們快速找到所需要的信息，于是便有了搜索引擎技術(shù)。方便了人們查找信息，節(jié)省了時(shí)間，已經(jīng)成為了人們經(jīng)常使用的一項(xiàng)網(wǎng)絡(luò)服務(wù)。
　　但是據(jù)中國互聯(lián)網(wǎng)信息中心統(tǒng)計(jì)報(bào)告顯示，重復(fù)結(jié)果太多是用戶在使用搜索引擎時(shí)遇到的主要問題。據(jù)統(tǒng)計(jì)，Internet上大約有30％左右的重復(fù)網(wǎng)頁，大部分是由于轉(zhuǎn)載造成的。網(wǎng)頁重復(fù)問題對搜索引擎帶來了一

2、定的影響，重復(fù)網(wǎng)頁不僅浪費(fèi)了存儲空間，也增加了搜索引擎的處理時(shí)間。同時(shí)搜索引擎的檢索結(jié)果包含了很多內(nèi)容重復(fù)的網(wǎng)頁，降低了檢索質(zhì)量，所以網(wǎng)頁消重已經(jīng)成為搜索引擎中一項(xiàng)必不可少的工作。
　　本文研究了網(wǎng)頁消重的起源、及其發(fā)展現(xiàn)狀，進(jìn)行了以下幾方面的研究工作：
　?。?）高質(zhì)量的網(wǎng)頁消重都是基于網(wǎng)頁正文文本的，本文首先研究了網(wǎng)頁的內(nèi)部結(jié)構(gòu)，提出了基于DOM的網(wǎng)頁正文抽取算法，通過將網(wǎng)頁分塊，聚合，過濾，得到網(wǎng)頁的正文文本，將其作為

3、消重的對象。實(shí)驗(yàn)證明該算法具有較高的準(zhǔn)確率。
　　（2）設(shè)計(jì)了一個(gè)在線網(wǎng)頁消重系統(tǒng)，實(shí)現(xiàn)了兩種消重算法：摘要消重和全文消重。該系統(tǒng)通過對搜索引擎的檢索結(jié)果進(jìn)行消重處理，提高了檢索質(zhì)量。
　?。?）提出了兩種網(wǎng)頁消重算法：基于字頻特征的消重算法和基于分段特征的消重算法。
　　（4）基于字頻的消重算法抽取網(wǎng)頁正文文字的字頻作為網(wǎng)頁主特征串，同時(shí)將字頻的附加信息作為網(wǎng)頁的輔特征串。算法使用編輯距離樹對特征串進(jìn)行比較，減少了兩