大規(guī)模文本去重策略研究.pdf

1、隨著Internet的不斷發(fā)展，網(wǎng)絡(luò)信息共享給人們帶來(lái)了極大的方便，但同時(shí)引入了大量轉(zhuǎn)載信息。去除重復(fù)網(wǎng)頁(yè)可以提高搜索引擎的搜索精度，減少海量數(shù)據(jù)存儲(chǔ)空間，改善用戶的體驗(yàn)：另外重復(fù)信息的檢測(cè)有利于打擊文章的剽竊抄襲，保護(hù)作者的原創(chuàng)性。綜上網(wǎng)頁(yè)的重復(fù)檢測(cè)是非常有研究意義的課題。 網(wǎng)頁(yè)去重和科技論文抄襲是重復(fù)凸顯的兩個(gè)問(wèn)題。目前的算法以關(guān)鍵詞去重、指紋去重為主，解決程序重復(fù)及文檔重復(fù)的論述居多，而對(duì)網(wǎng)頁(yè)噪聲的影響考慮的較少，另外搜索

2、引擎實(shí)際上是超大規(guī)模的網(wǎng)頁(yè)去重的應(yīng)用，如何提高去重效率也是本項(xiàng)研究的需要解決的主要問(wèn)題。 本文分別針對(duì)以上兩類重復(fù)提出了相應(yīng)的解決策略。從理論和應(yīng)用兩方面對(duì)去重算法及其應(yīng)用進(jìn)行了較為系統(tǒng)的研究，概括如下： (1)大規(guī)模網(wǎng)頁(yè)去重。網(wǎng)頁(yè)重復(fù)以轉(zhuǎn)載為主，去重的瓶頸是如何降低網(wǎng)絡(luò)噪聲的影響和提高去重效率。本文針對(duì)網(wǎng)頁(yè)噪聲形式多樣，去除噪聲規(guī)則不易移植的局限性，論述了基于節(jié)點(diǎn)重復(fù)的較為普適的去除噪聲的方法。為了增大網(wǎng)頁(yè)去重的準(zhǔn)確性

3、，然后提出基于最大塊的網(wǎng)頁(yè)特征抽取算法，并與傳統(tǒng)的方法加以比較進(jìn)行分析。最后，本文應(yīng)用Bloom Filter的特征碼映射和B-Tree的特征碼組織形式，保證了大規(guī)模網(wǎng)頁(yè)去重的效率。 (2)科技論文抄襲檢測(cè)。當(dāng)前科技論文抄襲嚴(yán)重，但針對(duì)科技論文抄襲的自動(dòng)檢測(cè)的學(xué)術(shù)研究不多。本文對(duì)科技論文的抄襲檢測(cè)做出了嘗試。首先將科技論文應(yīng)用bootstrapping算法進(jìn)行主題詞擴(kuò)展，并根據(jù)主題詞的重復(fù)情況粗分重復(fù)組，然后提出基于滑動(dòng)窗口的加