基于文本挖掘技術(shù)的論文抄襲判定研究.pdf

1、自20世紀(jì)90年代學(xué)術(shù)界提出反對(duì)學(xué)術(shù)腐敗以來(lái)，被揭露出來(lái)的學(xué)術(shù)腐敗事件最多的是學(xué)術(shù)造假，其中又以學(xué)術(shù)著作和論文的抄襲為最。解決論文抄襲的判定問(wèn)題不但對(duì)于保護(hù)知識(shí)產(chǎn)權(quán)、提高學(xué)術(shù)論文質(zhì)量、凈化學(xué)術(shù)領(lǐng)域、防止學(xué)術(shù)腐敗都有很重要的意義，而且可以有效的防止一稿多投和減輕審稿人員的工作負(fù)擔(dān)。 文本挖掘是數(shù)據(jù)挖掘研究面向非結(jié)構(gòu)化和半結(jié)構(gòu)化文本數(shù)據(jù)的自然延伸。人們?nèi)粘Ｉ詈凸ぷ髦薪佑|到的信息有大多數(shù)都是以文本形式出現(xiàn)的，文本挖掘是從文本或文本集

2、中發(fā)現(xiàn)和挖掘歸納性的有效、創(chuàng)新、有用和最終可理解的模式、模型、趨勢(shì)、規(guī)則等知識(shí)的非平凡過(guò)程。文本挖掘是利用智能算法，并結(jié)合文字處理技術(shù)，分析大量的非結(jié)構(gòu)化文本源(如文檔、電子表格、電子郵件、書(shū)籍、網(wǎng)頁(yè)等)抽取或標(biāo)記關(guān)鍵字概念，文字間的關(guān)系，并按照內(nèi)容對(duì)分檔進(jìn)行分類，獲取有用的知識(shí)和信息。 如何將文本挖掘中的主要技術(shù)應(yīng)用于論文抄襲判定中，這是本文的主要研究目的。主要研究成果工作如下： (1)依據(jù)論文抄襲界定的法律，分析歸納

3、了論文抄襲的類型和論文抄襲判定的主要技術(shù)，包括數(shù)字指紋技術(shù)和詞頻統(tǒng)計(jì)技術(shù)； (2)探討和研究了文本挖掘中涉及的信息檢索與信息抽取技術(shù)以及文本挖掘的主要方法(關(guān)聯(lián)分析、文本分類、文本聚類、自動(dòng)文摘等)； (3)在分析各種文本相似度計(jì)算主要方法的基礎(chǔ)上，設(shè)計(jì)和實(shí)現(xiàn)了基于文本分類的文檔相似度計(jì)算和基于段落詞頻統(tǒng)計(jì)的文檔相似度計(jì)算，在實(shí)際測(cè)試中，效果較好； (4)結(jié)合全文相似度計(jì)算、段落相似度計(jì)算和語(yǔ)句相似度計(jì)算的技巧，