文本自動比對研究與應用.pdf

1、互聯網與計算機技術的迅速發(fā)展,各種資源呈爆炸式增長,共享程度越來越高,給工作和生活帶來極大的便利,成為人們傳遞和交流信息的重要平臺。但是與此同時,造成了網頁重復率高、知識產權侵占以及信息的泄密等問題。如何快速、準確的檢測出相似內容已成為我們研究的焦點。另一方面,文本相似度比較作為自然語言處理的重要基礎與內容,被廣泛用于文本分類、聚類、信息檢索、文本復制檢測等領域,一直受到眾多學者的普遍關注與研究,因此,文本相似度比較是解決這些問題有效的

2、方法之一,在理論和實際應用中都具有重要的意義。
　　 本文圍繞以上問題,進行了深入的研究與實踐。論文主要工作包括:
　　 首先,將文本相似度比較技術首次引入到涉密文本的泄密檢測中,為目前涉密文本的泄密檢測仍然停留在人工檢測的基礎上增加了一種有效的方法與途徑。主要工作有:一是提出了一種基于自然語言處理的文本泄密自動檢測技術。該方法以基于VSM的相似度比較模型為基礎,結合中文分詞、文本加密、Web信息抽取等其它自然語言處理技

3、術,旨在不泄密的前提下,通過不可逆加密算法,利用Web信息抽取技術,對密文進行相似度比較,檢測特定網站是否存在涉密文本以及泄密的程度。二是對于特定網站內容的獲取研究,結合視覺分塊的Web信息抽取優(yōu)點,提出一種基于正則表達式的深層次網頁文本抽取方法,以此作為比較的數據源。
　　 其次,將目前文本相似度檢測技術與其他自然語言處理技術相結合,實現了基于自然語言處理的文本相似度檢測系統(tǒng)。該系統(tǒng)實現了篇章、段落到語句的多層次檢測；拓寬了比

4、較方式,功能上涵蓋了普通文本與涉密文本的檢測；數據源包括本地文本和互聯網文本信息:相似部分能自動定位標注。
　　 本文的主要特色與創(chuàng)新之處:
　　 1、將文本相似度比較技術首次引入到涉密文本的泄密檢測中。有效的解決目前泄密檢測仍采用人工檢測方式的問題,并且保證涉密文本的安全性。
　　 2、設計并實現了基于自然語言處理的文本相似度檢測系統(tǒng)。該系統(tǒng)具有多層次、多數據源、多比較方式、多功能以及多線程計算的特點。