中文文本語義相似度計(jì)算研究及應(yīng)用.pdf

1、中文文本相似度計(jì)算是中文信息處理相關(guān)研究領(lǐng)域中的重要基礎(chǔ)，在信息檢索、知識(shí)挖掘、輿情分析等領(lǐng)域中有著廣泛應(yīng)用。目前的中文文本相似度計(jì)算方法大多是從文本的字形層面而不是從文本內(nèi)容語義理解上計(jì)算文本間的相似度，這樣得到的相似度值往往與人們的主觀理解不一致。本文深入分析和研究了當(dāng)前基于語義的中文文本相似度計(jì)算方法，并針對(duì)方法中存在的問題進(jìn)行改進(jìn)，使計(jì)算得到的相似度能夠更為準(zhǔn)確地反映中文文本間的語義相似性。本文主要研究貢獻(xiàn)點(diǎn)有以下幾點(diǎn)：

2、　?、偬岢鲆环N改進(jìn)的基于HowNet的中文詞匯語義相似度計(jì)算方法。針對(duì)當(dāng)前基于HowNet的詞匯語義相似度計(jì)算方法沒有充分考慮知識(shí)庫描述語言的順序性特征，對(duì)當(dāng)前計(jì)算方法進(jìn)行改進(jìn)。首先，充分考慮知識(shí)庫描述語言對(duì)概念進(jìn)行描述的線性關(guān)系特征，提出一種位置相關(guān)的權(quán)重分配策略。其次，將所提出的策略結(jié)合二部圖最大權(quán)匹配進(jìn)行概念的相似度計(jì)算。最后，將概念相似度計(jì)算方法結(jié)合現(xiàn)有方法進(jìn)行中文詞匯語義相似度計(jì)算。
　　②提出一種改進(jìn)的中文文本語義相似

3、度計(jì)算方法。針對(duì)當(dāng)前基于語義的文本相似度計(jì)算方法沒有綜合考慮文本之間在語義內(nèi)容上的共性和差異性對(duì)文本相似度的影響，對(duì)當(dāng)前計(jì)算方法進(jìn)行改進(jìn)。首先，為了考慮文本特征向量中特征項(xiàng)之間的差異性，在構(gòu)建關(guān)于文本特征向量的二部圖時(shí)為虛擬頂點(diǎn)設(shè)置非零權(quán)重值。其次，為二部圖中的空特征項(xiàng)頂點(diǎn)與非空特征項(xiàng)頂點(diǎn)設(shè)置較小的固定相似度值。
　?、墼谏鲜鲋形奈谋菊Z義相似度計(jì)算方法研究基礎(chǔ)上，結(jié)合譜聚類方法進(jìn)行基于語義概念的中文文本譜聚類應(yīng)用研究。首先，在深入

4、分析譜聚類中關(guān)于相似度圖構(gòu)建方法的優(yōu)缺點(diǎn)基礎(chǔ)上，結(jié)合中文文本語義內(nèi)容分布特點(diǎn)和上述中文文本語義相似度計(jì)算方法，給出了一種更為合理的相似度圖構(gòu)造方法。其次，基于相似度圖的鄰接矩陣進(jìn)行中文文本譜聚類。
　　④對(duì)上述提出的改進(jìn)方法及基于語義的文本譜聚類應(yīng)用的效果進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)表明，改進(jìn)的詞匯語義相似度計(jì)算方法較當(dāng)前其它一些方法能夠更為準(zhǔn)確的計(jì)算詞匯間的語義相似度值；改進(jìn)的中文文本語義相似度計(jì)算方法能夠更為確切的度量文本間在語義內(nèi)容