詞對(duì)抽取及基于網(wǎng)絡(luò)的未登錄詞譯文挖掘.pdf

1、在中文信息處理領(lǐng)域，未登錄詞(OOV)的識(shí)別一直是個(gè)難點(diǎn)問(wèn)題。而未登錄詞的翻譯在自然語(yǔ)言處理的應(yīng)用中是很重要的，比如在跨語(yǔ)言信息檢索(CLIR)、問(wèn)答系統(tǒng)(OA)中，未登錄詞翻譯的正確性將直接影響到應(yīng)用的最終性能。 本文首先介紹了三種抽取詞對(duì)的方法，根據(jù)使用的語(yǔ)料庫(kù)是否已經(jīng)標(biāo)注，我們把這三種方法分別稱為非監(jiān)督的方法、監(jiān)督的方法和半監(jiān)督的方法。對(duì)于抽取得到的詞對(duì)，我們采用了十二種基于頻度的量度和兩種基于上下文相似度的量度進(jìn)行了關(guān)聯(lián)

2、度測(cè)量。實(shí)驗(yàn)結(jié)果表明：采用半監(jiān)督的方法，簡(jiǎn)單地利用頻度進(jìn)行關(guān)聯(lián)度打分，抽取詞對(duì)的效果是最優(yōu)的。 基于網(wǎng)絡(luò)的未登錄詞譯文挖掘是本文的研究重點(diǎn)。首先對(duì)未登錄詞進(jìn)行分類，分為直譯詞或非直譯詞，并進(jìn)行英文擴(kuò)展(根據(jù)分類結(jié)果分別進(jìn)行直接擴(kuò)展或共現(xiàn)擴(kuò)展)；再將未登錄詞與擴(kuò)展后的英文一起放入搜索引擎進(jìn)行搜索，然后從搜索引擎返回的結(jié)果頁(yè)面中挖掘未登錄詞的譯文。挖掘時(shí)先對(duì)返回的結(jié)果進(jìn)行預(yù)處理，過(guò)濾掉一些干擾信息，然后抽取出其中的候選譯文；再選用頻