基于匹配統(tǒng)計(jì)算法的文本復(fù)制檢測研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展和網(wǎng)絡(luò)數(shù)據(jù)庫資源的日益豐富，海量的信息以及巨大的搜索功能，讓論文抄襲變得輕而易舉。針對抄襲行為越來越嚴(yán)重這一現(xiàn)象，反論文抄襲的研究應(yīng)運(yùn)而生。文本復(fù)制檢測將讓那些有抄襲企圖者不敢貿(mào)然付諸行動。文本復(fù)制檢測系統(tǒng)能夠?yàn)橛脩糇R別檢測對象是否為復(fù)制文本提供決策支持。 本文研究了文本復(fù)制檢測系統(tǒng)的基本原理及主要的檢測策略和檢測算法。在復(fù)制檢測策略研究方面，主要分析了哈希斷點(diǎn)分塊檢測策略，構(gòu)建了搜索引擎模塊，對不同長度

2、的文本塊計(jì)算哈希值，進(jìn)行對比實(shí)驗(yàn)，以確定文本塊邊界。在復(fù)制檢測算法研究方面，著重分析了基于字符串比較的匹配統(tǒng)計(jì)算法，特別是后綴樹和后綴向量匹配統(tǒng)計(jì)算法。針對后綴樹算法存在的“內(nèi)存瓶頸’’問題，本文提出了一種基于緊湊后綴向量表示的匹配統(tǒng)計(jì)算法，采用動態(tài)節(jié)點(diǎn)存儲與初始字符串相關(guān)的節(jié)點(diǎn)信息，直接從字符串讀取邊標(biāo)記。緊湊后綴向量匹配統(tǒng)計(jì)算法不僅節(jié)約存儲空間，而且消除了后綴樹匹配統(tǒng)計(jì)算法中的一些冗余比較。 最后，構(gòu)建了文本復(fù)制檢測原型系統(tǒng)