搜索引擎系統(tǒng)網(wǎng)頁消重的研究與實現(xiàn).pdf

1、Internet的迅速普及和飛速發(fā)展，使人們面臨著一個信息的海洋，快速從中獲得真正重要的信息變得至關(guān)重要。搜索引擎(主要指全文搜索系統(tǒng))即是提供這種功能的一種工具。然而在搜索引擎返回的檢索結(jié)果中，存在大量的重復(fù)網(wǎng)頁，它們主要來自網(wǎng)站之間的轉(zhuǎn)載。這些內(nèi)容重復(fù)的網(wǎng)頁既占用了網(wǎng)絡(luò)帶寬，又浪費存儲資源，用戶不希望看到一堆內(nèi)容相同或近似的檢索結(jié)果，真正有用的結(jié)果往往淹沒在這些重復(fù)信息之中而不易被發(fā)現(xiàn)。如果能夠有效消除這些重復(fù)網(wǎng)頁，不但會提高檢索的

2、準(zhǔn)確率，節(jié)省用戶的時間和精力，而且對搜索系統(tǒng)本身而言可以節(jié)省大量的存儲資源，提高工作效率。 本文主要研究搜索引擎中的網(wǎng)頁消重問題。目前有效的網(wǎng)頁消重方法還比較少，主要都在服務(wù)器端實現(xiàn)，即在搜索系統(tǒng)的采集器進(jìn)行網(wǎng)頁采集的過程中消除重復(fù)的網(wǎng)頁。目前使用的方法主要有基于相同URL的方法、基于聚類的方法、基于特征碼的方法和基于簽名的方法。其中聚類的方法是先將文本基于向量空問模型表示為一個向量，然后再應(yīng)用各種方法來實現(xiàn)聚類或分類。這種方法

3、的向量夾角計算具有很高的計算復(fù)雜度因而占用較多的處理時間。此后提出的基于特征碼的方法具有較高的消重效率，但仍然難以抵抗網(wǎng)頁轉(zhuǎn)載時產(chǎn)生的噪聲。 與以往消重工作不同的是，本文將消重工作分為服務(wù)器端和客戶端兩部分進(jìn)行。在研究了大量重復(fù)網(wǎng)頁的基礎(chǔ)上，將重復(fù)網(wǎng)頁的概念進(jìn)一步細(xì)分，分成內(nèi)容完全相同的網(wǎng)頁和經(jīng)過適當(dāng)編輯、裁剪等工作后形成的基本相同或相似網(wǎng)頁，并分別在搜索系統(tǒng)的服務(wù)器端和客戶端進(jìn)行這兩種不同類型網(wǎng)頁的消重工作。 在以上研

4、究工作的基礎(chǔ)上提出了一種基于網(wǎng)頁內(nèi)容特征串的新方法來解決服務(wù)器端的網(wǎng)頁消重問題。該方法充分利用了網(wǎng)頁的結(jié)構(gòu)特征，采取主碼和輔碼相結(jié)合的方式來標(biāo)識網(wǎng)頁文本。主碼用來標(biāo)識網(wǎng)頁文本的段落結(jié)構(gòu)信息，輔碼用來標(biāo)識網(wǎng)頁文本的內(nèi)容信息。本文采用對主碼進(jìn)行聚類，對相應(yīng)類別的輔碼進(jìn)行匹配的策略，提高了消重的準(zhǔn)確率和效率。實驗證明該方法具有比較理想的消重效果。 為了實現(xiàn)搜索系統(tǒng)的智能化和個性化定制功能，本文在服務(wù)器端消重的基礎(chǔ)上，又在客戶端提出了智

5、能代理模型。在此基礎(chǔ)上，分析了新聞類網(wǎng)頁的重復(fù)特點，提出了適用于客戶端的基于關(guān)鍵詞上下文匹配的網(wǎng)頁消重新算法。該算法利用新聞類網(wǎng)頁轉(zhuǎn)載率高、重復(fù)率高的特征，考慮到用戶搜索關(guān)鍵詞一般可以表征其所希望獲得的網(wǎng)頁，使用用戶提交關(guān)鍵詞的上下文來構(gòu)成匹配串，對各匹配串進(jìn)行比較來實現(xiàn)網(wǎng)頁消重。該算法采用模糊匹配的思想來抵抗網(wǎng)頁噪聲，引入可以根據(jù)需要進(jìn)行調(diào)整的模糊因子和重疊因子等參數(shù)，得到了滿意的消重效果。 本文為了驗證所提出算法的有效性并比