專業(yè)領域可比語料的構建與評價研究.pdf

1、雙語詞典、平行語料庫等多語言資源是解決跨語言障礙,進行多語言信息處理與服務的基礎資源,同時這些資源在某些領域或語種內(nèi)也是稀缺資源,存在著獲取瓶頸問題。相比之下,可比語料不存在平行語料里譯文受原文限制的缺點,容易獲取,并且從中提取的雙語詞對可用來擴充雙語詞典,因此可比語料的構建研究是一項很有意義的研究工作。一方面,可以豐富語料構建的理論體系,另一方面,可以為多語言信息處理提供豐富并且可用的多語言語料資源。現(xiàn)有的可比語料庫構建主要針對新聞等

2、通用領域,但實際應用中有關專業(yè)領域可比語料的應用需求也非常迫切;并且由于專業(yè)領域和通用領域的語料特點存在諸多不同,使得通用領域的可比語料構建和評價方法及技術并不一定適用于專業(yè)領域的可比語料研究?；诖?本文對專業(yè)領域可比語料構建及評價問題進行研究,探索中英領域可比語料的采集方法,并以跨語言相似度為基礎引入主題維度進行語料可比度度量研究,最后通過內(nèi)部評價和外部評價對可比語料的質(zhì)量進行綜合評估。
　　 在中英領域可比語料的采集研究中

3、,本文分別以web搜索引擎、在線百科全書、中英文學術數(shù)據(jù)庫等三種不同類型的互聯(lián)網(wǎng)資源作為數(shù)據(jù)源,進行專業(yè)領域可比語料庫的構建,并對這些方法進行比較分析。
　　 在語料可比度度量研究中,本文以詞語為單元,通過基于傳統(tǒng)統(tǒng)計的序列相似度(包括卡方統(tǒng)計、spearman系數(shù))、基于詞頻排序的序列相似度、基于術語度排序的序列相似度等三種不同方法在不同類型語料(平行語料、可比語料、非可比語料等)進行實驗,對語料整體進行可比度度量。結(jié)果表明:

4、基于術語度排序的方法性能最好,其次是基于詞頻的方法,基于傳統(tǒng)統(tǒng)計的方法性能最差。
　　 此外,關于可比語料研究大多采用單一指標,尚未形成較完善統(tǒng)一的評價體系,需要對可比語料的評價進行深入研究。鑒于此,本文從內(nèi)部評價和外部評價兩方面對語料進行綜合評估。內(nèi)部評價中以語料詞語總體特征、子語料相似性等為基礎進行語料內(nèi)部一致性的評估;外部評價中通過雙語術語抽取任務間接評價語料質(zhì)量。在不同可比程度的語料(包括平行語料、可比語料、非可比語料)