漢語專名識(shí)別與音譯方法研究.pdf

1、隨著自然語言處理技術(shù)的不斷發(fā)展，為提高信息處理系統(tǒng)的性能，一個(gè)迫切的需求就是能夠準(zhǔn)確地進(jìn)行專有名詞識(shí)別。特別在中文信息處理中，由于文本中的人名、地名等一些未登錄詞常被切分成單個(gè)字，大大影響了文本分析和處理的效果。由于專有名詞的數(shù)量非常龐大，無法在詞典中一一收錄。而且，隨著時(shí)間和領(lǐng)域的變化，總是不斷地有新的專名出現(xiàn)，又有舊的專名被淘汰。因此，專有名詞識(shí)別是自然語言處理系統(tǒng)中的一個(gè)難題。有效的專名識(shí)別系統(tǒng)能顯著提高信息抽取、信息檢索等信息處

2、理系統(tǒng)的性能。在專名識(shí)別的基礎(chǔ)上，再進(jìn)行有效的專名翻譯，則十分有利于跨語言信息處理系統(tǒng)的性能提高。 本文設(shè)計(jì)并構(gòu)建了一個(gè)系統(tǒng)，實(shí)現(xiàn)漢語專名的自動(dòng)識(shí)別及英漢專名的相互音譯，并對(duì)專名識(shí)別與專名音譯中的一些關(guān)鍵技術(shù)進(jìn)行具體介紹。 1.在專名識(shí)別的算法方面，本文采用了最大熵統(tǒng)計(jì)模型作為框架。因?yàn)樽畲箪啬Ｐ湍苡行д隙喾N約束信息，對(duì)于漢語專名識(shí)別問題也有很好的適用性。在最大熵模型的框架上，本文引入少量人工規(guī)則以彌補(bǔ)統(tǒng)計(jì)模型的固有不

3、足，提高處理性能。文章詳細(xì)介紹了用于漢語專名識(shí)別的基于最大熵模型的混合算法，及其主要實(shí)現(xiàn)流程。 2．在上下文特征的選擇方面，本文考慮了局部特征與全局特征兩大類特征。其中，局部特征信息包含候選詞的內(nèi)部構(gòu)詞信息與外部接續(xù)信息兩類。全局特征信息包含專名在文檔中的重現(xiàn)頻度，本文將其整合進(jìn)動(dòng)態(tài)詞表。 3．在專名音譯方面，本文采用了基于源語言待譯專名與目標(biāo)語言候選專名之間發(fā)音相似度的方法，通過發(fā)音序列的比較，從候選專名庫中選擇發(fā)音相