基于模糊匹配思想的網(wǎng)頁(yè)去重算法.pdf

1、信息時(shí)代的到來(lái)，使計(jì)算機(jī)網(wǎng)絡(luò)的使用頻率越來(lái)越高，互聯(lián)網(wǎng)上的信息也越來(lái)越多。面對(duì)著如此多的海量信息，如果需要找到自己需要的相應(yīng)的信息，需要費(fèi)很大的精力，于是搜索引擎就成為了用戶尋找自己所需要的信息的首選工具。用戶對(duì)于搜索引擎的急切需求促進(jìn)了搜索引擎的蓬勃發(fā)展，國(guó)內(nèi)外先后出現(xiàn)了很多搜索引擎，如：yahoo，google，baidu等。然而，廣大Internet用戶在使用搜索引擎系統(tǒng)時(shí)，常常會(huì)發(fā)現(xiàn)搜索輸出結(jié)果里面包含了大量的重復(fù)信息。如何快速

2、準(zhǔn)確地發(fā)現(xiàn)這些內(nèi)容上相似的網(wǎng)頁(yè)，并將重復(fù)的頁(yè)面清除是目前最關(guān)注的問(wèn)題。 網(wǎng)頁(yè)去重是提高檢索質(zhì)量的有效途徑，也是自然語(yǔ)言處理中的一個(gè)重要研究課題。本論文給出了一種基于模糊字符串匹配思想的中文網(wǎng)頁(yè)去重算法，首先對(duì)網(wǎng)頁(yè)去重的算法的發(fā)展現(xiàn)狀及其特點(diǎn)進(jìn)行了研究。然后研究和分析了現(xiàn)有的基于各種思想的網(wǎng)頁(yè)去重算法，并比較了各種思想的算法的優(yōu)缺點(diǎn)。進(jìn)一步，結(jié)合模糊匹配思想詳細(xì)介紹了利用此算法如何實(shí)現(xiàn)網(wǎng)頁(yè)去重的具體步驟。該算法有較高的準(zhǔn)確率，在信