文檔復(fù)制檢測(cè)方法研究與系統(tǒng)實(shí)現(xiàn).pdf

1、目前,隨著互聯(lián)網(wǎng)的快速發(fā)展,網(wǎng)絡(luò)信息資源日益豐富,人們的信息交流的方式變得日益便利。然而由于文本,圖片,視頻等網(wǎng)絡(luò)電子資源便利的復(fù)制基礎(chǔ),從而導(dǎo)致網(wǎng)絡(luò)資源過(guò)多的冗余,降低了網(wǎng)絡(luò)搜索引擎的檢索效率,同時(shí)加大了信息抽取的難度。近年來(lái)一些高校里也頻繁出現(xiàn)了作業(yè)抄襲,論文抄襲等現(xiàn)象。為了提高網(wǎng)絡(luò)信息檢索效率、保護(hù)知識(shí)產(chǎn)權(quán),以及端正學(xué)術(shù)風(fēng)氣,文檔復(fù)制檢測(cè)技術(shù)成為了自然語(yǔ)言處理領(lǐng)域的研究熱點(diǎn),其研究意義十分重大。
　　本文對(duì)文檔復(fù)制檢測(cè)方面做

2、了詳細(xì)研究,在前人研究的基礎(chǔ)上,對(duì)基于句子相似度計(jì)算的文檔復(fù)制檢測(cè)方法作了改進(jìn),很大程度上提高了文檔復(fù)制檢測(cè)效率與檢測(cè)準(zhǔn)確率。
　　首先,本文針對(duì)文檔復(fù)制檢測(cè)的背景、意義、國(guó)內(nèi)外發(fā)展現(xiàn)狀及相關(guān)技術(shù)作了詳細(xì)介紹,并分析了目前常用文本復(fù)制檢測(cè)算法的優(yōu)缺點(diǎn)。
　　其次,基于傳統(tǒng)的BSP復(fù)制檢測(cè)算法,提出了基于有序最長(zhǎng)公共關(guān)鍵詞序列的句子相似度算法及基于關(guān)鍵詞距離的句子局部復(fù)制檢測(cè)算法,同時(shí)設(shè)計(jì)了詞語(yǔ)-句子,句子-文檔的倒排索引結(jié)構(gòu)