一種頻率增強(qiáng)的語(yǔ)句語(yǔ)義相似度計(jì)算

1、<p>　　一種頻率增強(qiáng)的語(yǔ)句語(yǔ)義相似度計(jì)算</p><p>　　摘要：目前，在基于HowNet進(jìn)行語(yǔ)句語(yǔ)義相似度計(jì)算的算法中，沒有考慮語(yǔ)句中的不同詞語(yǔ)對(duì)語(yǔ)句之間相似度值的不同貢獻(xiàn)程度，以致計(jì)算結(jié)果不理想.為了更好地解決上述缺陷，提出了一種頻率增強(qiáng)語(yǔ)句語(yǔ)義相似度算法.該算法利用HowNet作為詞典庫(kù)，在同時(shí)考慮義原距離和義原深度的條件下，進(jìn)行詞語(yǔ)相似度計(jì)算；在此基礎(chǔ)上算法進(jìn)一步將詞語(yǔ)在語(yǔ)料庫(kù)中的頻率函數(shù)

2、作為權(quán)重值，引入至語(yǔ)句的語(yǔ)義相似度計(jì)算中，以降低高頻率詞語(yǔ)在語(yǔ)句相似度值中的比重.實(shí)驗(yàn)表明，改進(jìn)的算法在語(yǔ)句相似度計(jì)算結(jié)果上與人們的主觀判斷更接近，結(jié)果更合理. </p><p>　　關(guān)鍵詞：HowNet；義原樹狀結(jié)構(gòu)；語(yǔ)料庫(kù)；語(yǔ)義相似度 </p><p>　　中圖分類號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A </p><p>　　文本相似度＼[1＼]是表示兩個(gè)或多個(gè)文本之間匹

3、配程度的一個(gè)度量參數(shù)，相似度越大，說(shuō)明對(duì)比的內(nèi)容相似程度越高，反之越低.文本相似度計(jì)算廣泛應(yīng)用于文本挖掘、Web信息搜索和機(jī)器翻譯等，是自然語(yǔ)言處理中的一個(gè)重要研究領(lǐng)域＼[2＼].在長(zhǎng)文本句子相似度計(jì)算中，主要分析相同的句子并且將句子分類＼[1＼]；在圖像修復(fù)中，根據(jù)嵌入圖像的描述文字進(jìn)行修復(fù)可以達(dá)到更高的精度＼[3＼]，在web內(nèi)容進(jìn)行搜索時(shí)，計(jì)算web頁(yè)面中的語(yǔ)句相似度能夠更加有效地推薦搜索結(jié)果＼[4＼]. </p>

4、<p>　　當(dāng)前的文本相似度計(jì)算包括詞語(yǔ)相似度計(jì)算，語(yǔ)句相似度計(jì)算等，詞語(yǔ)相似度計(jì)算是指詞語(yǔ)之間在語(yǔ)義上的相似度計(jì)算，狹義地說(shuō)，是指從字面上來(lái)計(jì)算兩個(gè)詞語(yǔ)之間的相似度＼[5＼]，其研究方法主要包括利用語(yǔ)義詞典以及詞典中數(shù)據(jù)的樹狀層次結(jié)構(gòu)關(guān)系，來(lái)計(jì)算詞語(yǔ)之間的語(yǔ)義相似度值；其次是利用統(tǒng)計(jì)學(xué)中的概率分布思想，結(jié)合語(yǔ)料庫(kù)，通過(guò)詞語(yǔ)在語(yǔ)料庫(kù)中出現(xiàn)的頻率來(lái)反應(yīng)詞語(yǔ)間的相似度.第一類方法的基礎(chǔ)是語(yǔ)義詞典庫(kù)，根據(jù)義原或者詞語(yǔ)本身構(gòu)成的樹狀結(jié)

5、構(gòu)，來(lái)得到詞語(yǔ)的相似度值，這類方法的一個(gè)較明顯的缺點(diǎn)是詞典庫(kù)中經(jīng)常存在一些沒有登錄或記錄的詞匯.第二類方法的基礎(chǔ)是語(yǔ)料庫(kù)，該方法中假定當(dāng)詞語(yǔ)所在的上下文環(huán)境相似時(shí)，詞語(yǔ)之間才是相似的.但是這個(gè)方法中的一個(gè)缺陷是有時(shí)語(yǔ)料庫(kù)中的詞語(yǔ)頻率函數(shù)并不滿足某種概率分布＼[6＼]. </p><p>　　但是，單純的詞語(yǔ)之間語(yǔ)義相似度計(jì)算還不足以滿足日常需要，人們?cè)谄匠５墓ぷ魃钪校佑|到的通常是以文本形式出現(xiàn)的信息，因此，詞

6、語(yǔ)語(yǔ)義相似度計(jì)算還需要過(guò)渡到語(yǔ)句語(yǔ)義相似度計(jì)算層面上.在語(yǔ)義相似度計(jì)算方法中，主要包括將詞性和詞序結(jié)合的方法＼[7＼]、依存樹法、編輯距離方法和基于HowNet的方法＼[8＼]等，我們從復(fù)雜度、詞語(yǔ)權(quán)重信息、同義詞反義詞、數(shù)據(jù)稀疏、語(yǔ)義信息、語(yǔ)句結(jié)構(gòu)和算法可行度進(jìn)行分析發(fā)現(xiàn)，這些方法并不能完全滿足這些因素. </p><p>　　在以往的文本或者長(zhǎng)句相似度匹配中，可以通過(guò)上下文關(guān)系中推斷出文本的語(yǔ)義，但是在短句中

7、，由于詞匯量的問題，以往的語(yǔ)句相似度計(jì)算法在短句中的語(yǔ)義相似度計(jì)算中有效性不高＼[9＼]，因而文本中短句中相似度計(jì)算， 如5～25個(gè)詞語(yǔ)組成的不講究語(yǔ)法的短句，已逐漸成為自然語(yǔ)言處理中的一個(gè)重要領(lǐng)域. </p><p>　　本文將HowNet作為語(yǔ)義詞典庫(kù)， HowNet是由董振東先生創(chuàng)立， HowNet的描述對(duì)象是漢語(yǔ)詞語(yǔ)和英語(yǔ)詞語(yǔ)所代表的概念，它揭示了概念之間以及概念屬性之間的復(fù)雜關(guān)系，并以此構(gòu)成一個(gè)組織龐大

8、、內(nèi)容豐富的知識(shí)庫(kù). </p><p><b>　　4結(jié)論 </b></p><p>　　本文以HowNet為語(yǔ)義詞典庫(kù)，介紹了HowNet中義原相似度計(jì)算、概念相似度計(jì)算以及詞語(yǔ)相似度計(jì)算的細(xì)節(jié)和公式.最終，以此為基礎(chǔ)，研究了改進(jìn)的語(yǔ)句語(yǔ)義相似度計(jì)算. </p><p>　　在對(duì)語(yǔ)句相似度算法改進(jìn)時(shí)，將詞語(yǔ)在語(yǔ)料庫(kù)中的頻率函數(shù)作為權(quán)重系數(shù)加入

9、到計(jì)算公式中.語(yǔ)料庫(kù)中詞語(yǔ)出現(xiàn)的頻率越大，對(duì)語(yǔ)句整體所起的作用越小，反之則越大，這個(gè)規(guī)律與人們?nèi)粘５挠^念也相符合.本文改進(jìn)的算法在一定程度上解決了目前基于HowNet的語(yǔ)句相似度算法中存在的計(jì)算結(jié)果不合理現(xiàn)象.最后，通過(guò)三種方法的對(duì)比實(shí)驗(yàn)證明，改進(jìn)后的語(yǔ)句相似度計(jì)算方法更合理. </p><p><b>　　參考文獻(xiàn) </b></p><p>　　[1]ALIGULI

10、YEV R M. A new sentence similarity measure and sentence based extractive technique for automatic text summarization＼[J＼]. Expert Systems with Application ，2009，36 （4）： 7764-7772. </p><p>　?。躘2＼]涂承勝，魯明羽，陸玉昌.W

11、eb內(nèi)容挖掘技術(shù)研究＼[J＼].計(jì)算機(jī)應(yīng)用研究，2003，20（11）：5-9. </p><p>　　TU Chengsheng， LU Mingyu， LU Yucang. Web content mining technology＼[J＼]. Computer Application Research， 2003，20（11）：5-9.（In Chinese） </p><p>　　

12、＼[3＼]CHIANG J H，YU H C. Literature extraction of protein functions using sentence pattern mining＼[J＼]. IEEE Transactions on Knowledge and Data Engineering，2005，17（8）：1088-1098. </p><p>　?。躘4＼]KO Y， PARK J， S

13、EO J. Improving text categorization using the importance of sentences＼[J＼]. Information Processing and Management，2004，40： 65-79. </p><p>　?。躘5＼]LIN Dekang. An information theoretic definition of similarity

14、semantic distance in wordnet ＼[C＼]//Proceedings of the Fifteenth International Conference on Machine Learning1998：296-304. 　?。躘6＼]田久樂，趙蔚.基于同義詞詞林的詞語(yǔ)相似度計(jì)算方法＼[J＼].吉林大學(xué)學(xué)報(bào)，2010，28（6）：602-608. </p><p>　　TIAN Jiul

15、e，ZHAO Wei. Words similarity algorithm based on tongyici cilin in semantic web adaptive learning system＼[J＼]. Journal of Jilin University， 2010，28（6）：602-608.（In Chinese） </p><p>　?。躘7＼]車萬(wàn)翔，劉挺，秦兵，等.基于改進(jìn)編輯距離的

16、中文相似句子檢索＼[J＼].高技術(shù)通訊，2004（7）：15-19. </p><p>　　CHE Wangxiang，LIU Ting， QIN Bing. Similar chinese sentence retrieval based on improved editdistance＼[J＼].High Technology Letters，2004（7）：15-19. （In Chinese） </

17、p><p>　?。躘8＼]劉群，李素建.基于《知網(wǎng)》的詞匯語(yǔ)義相似度計(jì)算＼[C＼]//第三語(yǔ)義學(xué)研討會(huì)論文集.臺(tái)北：臺(tái)北中央研究院，2002：149-163. </p><p>　　LIU Qun， LI Sujian How netbased lexical semantic similarity calculation＼[C＼]//Third Semantics Workshop Proc

18、eedings. Taipei： Academia Sinica， 2002：149-163.（In Chinese） </p><p>　?。躘9＼]AMINUL Islam，DIANA Inkpen. Semantic text similarity using corpusbased word similarity and string similarity＼[R＼]. Ottawa， Canada：Uni

19、versity of Ottawa，2008. </p><p>　　＼[10＼]LIAO Zhining， ZUHAIR A. Bandar， James D. O’Shea，Keeley Crockett. Termbased approach for semantic similarity of short texts＼[R＼].Manchester， England：Manchester Metropol