基于漢字部件直方圖的文本復(fù)制檢測技術(shù)研究.pdf

1、文本復(fù)制檢測技術(shù)是文本相似度計(jì)算的一項(xiàng)基礎(chǔ)應(yīng)用，在網(wǎng)頁去重、知識(shí)產(chǎn)權(quán)保護(hù)、搜索引擎、數(shù)字圖書館等方面發(fā)揮著重要作用。但是針對中文文本的復(fù)制檢測技術(shù)起步較晚，且由于中文文本的精深復(fù)雜，中文文本復(fù)制檢測技術(shù)更難于實(shí)現(xiàn)。因此，該領(lǐng)域值得我們進(jìn)一步開展研究和探討。
　　本文首先對該領(lǐng)域內(nèi)基于字符匹配和基于詞頻統(tǒng)計(jì)的兩類復(fù)制檢測算法做了較為詳細(xì)的論述，歸納和總結(jié)了現(xiàn)有算法各自的特點(diǎn)和不足。針對其文本特征表示向量高維且稀疏、相似度計(jì)算復(fù)雜、資

2、源利用率低等問題，本文提出了一種新的基于漢字部件直方圖的文本復(fù)制檢測模型。論文的主要工作如下:
　　1)提出了以漢字部件直方圖作為文本指紋特征的提取方法。首先根據(jù)漢字的結(jié)構(gòu)特征和漢字的數(shù)學(xué)表達(dá)式理論將整個(gè)文本中出現(xiàn)的所有漢字進(jìn)行部件拆分，接著分別對每種漢字部件進(jìn)行計(jì)數(shù)統(tǒng)計(jì)，通過概率計(jì)算公式得到每種漢字部件在該文本中出現(xiàn)的概率，然后以漢字的部件編號(hào)為橫坐標(biāo)，以部件概率為縱坐標(biāo)，做出統(tǒng)計(jì)圖，稱為文本漢字部件直方圖，最終以此漢字部件直方

3、圖作為該文本的指紋特征標(biāo)識(shí)。
　　2)提出了通過計(jì)算部件直方圖間的距離匹配值作為待檢測文本之間復(fù)制檢測結(jié)果的判斷標(biāo)準(zhǔn)。本文分別設(shè)計(jì)了4種距離對比標(biāo)準(zhǔn)進(jìn)行文本部件直方圖間的距離匹配值運(yùn)算，并通過實(shí)驗(yàn)分析最終選取了最合適的巴氏距離作為衡量直方圖相似度距離的計(jì)算公式。
　　3)采集了一定規(guī)模的數(shù)據(jù)源進(jìn)行算法的模擬和實(shí)現(xiàn)。本文通過搜集400個(gè)詞條文檔作為數(shù)據(jù)源開展實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明基于漢字部件直方圖的文本復(fù)制檢測算法具有較好的查準(zhǔn)率