漢語語料庫的切分標(biāo)注處理和專名識別.pdf

1、當(dāng)今信息處理中占絕大比例的是語言文字的處理，與傳統(tǒng)的理性主義方式相輔的是經(jīng)驗(yàn)主義方法，其中大規(guī)模真實(shí)文本語料庫加工因具有實(shí)用性強(qiáng)、見效快的特點(diǎn)，普遍受人歡迎。 語料庫語言學(xué)是80年代才嶄露頭角的一門計(jì)算語言學(xué)的新的分支學(xué)科，它的應(yīng)用領(lǐng)域極廣，包括文本分類、檢索、自動摘要、信息獲取、簡單的機(jī)器翻譯和基于實(shí)例的對話系統(tǒng)。語料庫語言學(xué)研究的基礎(chǔ)是機(jī)器可讀的大容量語料庫，由于原始的未經(jīng)加工處理的文本(生語料)很少直接起作用，需要先對其進(jìn)

2、行分析處理才能運(yùn)用于實(shí)踐。 漢語不同于印歐語種，缺乏天然的分割信息，要進(jìn)行漢語的計(jì)算機(jī)處理，必須首先將漢語的詞與詞分開，即分詞(也稱切分)，切分是中文語料處理的第一步；為詞語標(biāo)上其所屬的詞類就是詞性標(biāo)注，是語料進(jìn)一步加工的必須過程。由于多年來漢語語料切分標(biāo)準(zhǔn)缺乏一個全國統(tǒng)一的詳盡的加工標(biāo)準(zhǔn)，各家研究機(jī)構(gòu)由于研究目的等不同，加工的語料不能兼容，造成了資源的重復(fù)建設(shè)和浪費(fèi)；同時(shí)，切分中的排岐和未登錄詞特別是專有名詞的識別一直困擾著切

3、分標(biāo)注，成為語料加工的瓶頸，甚至可以說也成為整個中文信息處理平臺的瓶頸。本文主要著重解決這兩個問題。 本文設(shè)計(jì)并基本實(shí)現(xiàn)了一個具有專名識別功能的多輸出的漢語切分標(biāo)注系統(tǒng)，同時(shí)考慮了系統(tǒng)的效率和可擴(kuò)充性等實(shí)用方面的問題。 為了能使加工的語料既符合國家制定的加工規(guī)范，又能適應(yīng)不同應(yīng)用的實(shí)際需求，本文提出了一個規(guī)范獨(dú)立的加工模型。在基本的分詞和標(biāo)注模塊之后，有一個單獨(dú)的規(guī)范規(guī)則處理模塊，系統(tǒng)的分詞和標(biāo)注模塊可同切分標(biāo)注的相關(guān)規(guī)

4、范無關(guān)，一旦規(guī)范修改，只需替換切分標(biāo)注規(guī)范規(guī)則文件即可。同時(shí)，本系統(tǒng)在加工中對每個詞都加上了信息，個性化輸出模塊可以根據(jù)這些信息按需輸出不同顆粒度大小的加工結(jié)果。 在切分和標(biāo)注模塊，系統(tǒng)改進(jìn)了前綴碼分詞算法，采用了結(jié)合前綴詞表的首尾二字哈希查找算法來提高效率，同時(shí)，針對單獨(dú)使用規(guī)則或概率方法消歧的不足，將兩種方法有機(jī)的結(jié)合起來進(jìn)行歧義消減。 在專名識別方面，在參考國內(nèi)各家方法的基礎(chǔ)上，系統(tǒng)設(shè)計(jì)了自己的人名識別和地名識別的