漢語(yǔ)詞語(yǔ)語(yǔ)義相似度度量及其在跨語(yǔ)言信息檢索中的應(yīng)用研究.pdf

1、作為自然語(yǔ)言理解的一項(xiàng)基礎(chǔ)工作，詞語(yǔ)語(yǔ)義相似度度量一直是研究的重點(diǎn)。語(yǔ)義相似度度量本身是一個(gè)中間任務(wù)，它是大多數(shù)自然語(yǔ)言處理任務(wù)中一個(gè)必不可少的中間層次，在自然語(yǔ)言處理中有著廣泛的應(yīng)用，如詞義消歧、信息檢索以及機(jī)器翻譯等。
　　本文的核心內(nèi)容是漢語(yǔ)詞語(yǔ)語(yǔ)義相似度算法研究以及如何將其應(yīng)用于跨語(yǔ)言信息檢索(Cross-Language Information Retrieval，CLIR)領(lǐng)域。本文首先對(duì)語(yǔ)義相似度度量算法進(jìn)行綜述，然

2、后重點(diǎn)描述基于HowNet的語(yǔ)義相似度度量算法，提出根據(jù)知識(shí)詞典描述語(yǔ)言(Knowledge Dictionary Mark-up Language，KDML)的結(jié)構(gòu)特性將詞語(yǔ)語(yǔ)義相似度分為三部分進(jìn)行計(jì)算，每部分采用最大匹配的算法，同時(shí)加入義原深度信息以區(qū)別對(duì)待不同信息含量的義原。較以往同類算法，其計(jì)算結(jié)果具有區(qū)分度，更加符合人的主觀感覺(jué)。
　　本文嘗試將所建立的漢語(yǔ)語(yǔ)義相似度度量模式應(yīng)用于跨語(yǔ)言信息檢索系統(tǒng)?？缯Z(yǔ)言信息檢索結(jié)合傳

3、統(tǒng)文本信息檢索技術(shù)和機(jī)器翻譯技術(shù)，在多方面涉及到語(yǔ)義問(wèn)題，是語(yǔ)義相似度良好的切入點(diǎn)。兩者的結(jié)合主要體現(xiàn)在兩方面：(1)將語(yǔ)義相似度度量應(yīng)用于查詢翻譯，利用語(yǔ)義相似度對(duì)查詢關(guān)鍵詞進(jìn)行消歧翻譯，提高翻譯質(zhì)量；(2)將語(yǔ)義相似度應(yīng)用于查詢擴(kuò)展，使擴(kuò)展內(nèi)容與原查詢具有更高相關(guān)性，以提高檢索的召回率和準(zhǔn)確率。
　　本文提出相對(duì)客觀的評(píng)價(jià)標(biāo)準(zhǔn)，如為單獨(dú)衡量詞義消歧的性能，而使用第三屆詞義消歧系統(tǒng)評(píng)價(jià)會(huì)議(The3rd Evaluating W

4、ord Sense Disambiguation Systems，SENSEVAL-3)語(yǔ)料進(jìn)行測(cè)試；為衡量應(yīng)用語(yǔ)義相似度于跨語(yǔ)言檢索后的性能，又使用第九屆文本檢索會(huì)議(The9th Text Retrieval Conference，TREC-9)CLIR評(píng)價(jià)任務(wù)的查詢集、語(yǔ)料庫(kù)和結(jié)果集進(jìn)行評(píng)估。這使得我們的實(shí)驗(yàn)結(jié)果相對(duì)公正客觀，具有一定可比性。本文對(duì)原有英漢跨語(yǔ)言信息檢索系統(tǒng)進(jìn)行一定程度的改進(jìn)，使得各種相關(guān)算法都可方便地在系統(tǒng)中進(jìn)行