基于Hadoop的分布式抄襲檢測關(guān)鍵技術(shù)研究.pdf

1、文本抄襲檢測是自然語言處理領(lǐng)域中的一個(gè)重要研究方向，它在知識(shí)產(chǎn)權(quán)保護(hù)、信息檢索和論文抄襲檢測等方面有著重要的應(yīng)用。網(wǎng)絡(luò)的普及和豐富的互聯(lián)網(wǎng)應(yīng)用產(chǎn)生了大量的數(shù)據(jù)，這給人們帶來海量的信息和極大的便利，但同時(shí)也對抄襲檢測系統(tǒng)的設(shè)計(jì)和性能提出了更高的要求。首先，抄襲檢測系統(tǒng)框架能夠適應(yīng)大規(guī)模數(shù)據(jù)集的處理要求，例如存儲(chǔ)能力、計(jì)算資源和系統(tǒng)的可靠性等；其次，對于在線的抄襲檢測系統(tǒng)，在大規(guī)模數(shù)據(jù)集上能夠快速的展示抄襲檢測結(jié)果。解決這些問題的途徑之一是

2、將大數(shù)據(jù)的處理方法應(yīng)用于抄襲檢測系統(tǒng)。即針對抄襲檢測系統(tǒng)出現(xiàn)的新特性，利用分布式集群的思想，對傳統(tǒng)的系統(tǒng)模塊進(jìn)行擴(kuò)展和改進(jìn)，使其適應(yīng)了大規(guī)模數(shù)據(jù)集的處理需求。目前，針對大規(guī)模數(shù)據(jù)集上的抄襲檢測系統(tǒng)研究不僅有很高的理論價(jià)值，而且極具應(yīng)用前景。
　　本文系統(tǒng)地闡述了抄襲檢測系統(tǒng)的兩個(gè)組成部分：源檢索模塊和文本對齊模塊，重點(diǎn)研究了源檢索模塊的體系結(jié)構(gòu)。在傳統(tǒng)的源檢索結(jié)構(gòu)中，系統(tǒng)不能滿足處理大規(guī)模數(shù)據(jù)集時(shí)的存儲(chǔ)需求和計(jì)算需求，也不能保障系

3、統(tǒng)的高可靠性。針對上述問題，本文提出了基于索引分片的源檢索體系結(jié)構(gòu)。這種體系結(jié)構(gòu)是基于Hadoop的分布式環(huán)境，能夠整合集群中所有的存儲(chǔ)資源和計(jì)算資源；同時(shí)利用Hadoop和索引分片的副本機(jī)制，使數(shù)據(jù)在不同的機(jī)器上有多個(gè)備份。與傳統(tǒng)的源檢索結(jié)構(gòu)相比，這種結(jié)構(gòu)具有很強(qiáng)的擴(kuò)展性，能夠適應(yīng)大規(guī)模數(shù)據(jù)集的處理要求，保障系統(tǒng)的高可靠性。在此基礎(chǔ)上，本文對文本對齊模塊的抄襲片斷合并算法進(jìn)行了改進(jìn)，提出了基于圖論的片斷合并算法。與原有的算法相比，新方