網(wǎng)頁(yè)消重算法研究.pdf

1、Internet上超過(guò)80億個(gè)網(wǎng)頁(yè)的海量數(shù)據(jù)使互聯(lián)網(wǎng)成為當(dāng)今世界上最大的信息庫(kù)和全球范圍內(nèi)傳播信息的最主要渠道，也為廣大用戶(hù)提供了一個(gè)巨大價(jià)值的，廣闊的獲取信息的渠道。但當(dāng)我們使用搜索引擎在互聯(lián)網(wǎng)中搜索信息的時(shí)候總是經(jīng)常會(huì)出現(xiàn)大量的重復(fù)信息，具體表現(xiàn)為搜索引擎的搜索結(jié)果極為龐大，在這浩瀚的數(shù)據(jù)中尋找我們需要的信息無(wú)異于是大海撈針。這是搜索引擎領(lǐng)域亟待解決的一個(gè)問(wèn)題。網(wǎng)頁(yè)消重是搜索引擎領(lǐng)域里一個(gè)重要環(huán)節(jié)。由于網(wǎng)頁(yè)中存在難以辨別的模板信息，

2、廣告等噪音，當(dāng)前常用的檢測(cè)算法都無(wú)法有效排除這一影響，所以都存在根本性的缺陷。 本文提出了兩種網(wǎng)頁(yè)消重檢測(cè)算法能有效解決這一問(wèn)題。并將這兩種算法跟兩種常見(jiàn)的算法進(jìn)行了對(duì)比測(cè)試，用實(shí)驗(yàn)證明了這兩種算法的優(yōu)點(diǎn)。 本文在大量實(shí)驗(yàn)和數(shù)據(jù)分析的基礎(chǔ)上，得到了如下研究成果和結(jié)論： 1)提出了一種基于單一MD5指紋的網(wǎng)頁(yè)消重高效檢測(cè)算法。該算法對(duì)網(wǎng)頁(yè)正文塊(可見(jiàn)文字)進(jìn)行排序，選取最大的t個(gè)文本塊，將這些文本塊連接在一起，生成

3、一個(gè)代表該網(wǎng)頁(yè)的MD5指紋，若兩個(gè)網(wǎng)頁(yè)有相同的指紋則認(rèn)為他們是近似網(wǎng)頁(yè)。 2)提出了一種改進(jìn)的基于關(guān)鍵詞匹配和向量空間模型的近似網(wǎng)頁(yè)檢測(cè)算法。該算法對(duì)網(wǎng)頁(yè)正文塊(可見(jiàn)文字)進(jìn)行排序，選取最大的t個(gè)文本塊，從這些文本塊中提取代表網(wǎng)頁(yè)的特征值，最后對(duì)特征值提取網(wǎng)頁(yè)指紋并進(jìn)行對(duì)比，得出最終結(jié)果。 3)最后將本文提出算法跟兩種常見(jiàn)的算法進(jìn)行了對(duì)比，并用實(shí)驗(yàn)證明了本文提出的算法的優(yōu)點(diǎn)，這兩種算法在時(shí)間復(fù)雜度、空間復(fù)雜度、召回率等性