中文地名的自動(dòng)識(shí)別和標(biāo)準(zhǔn)化.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展,網(wǎng)絡(luò)上的數(shù)據(jù)呈現(xiàn)了指數(shù)級(jí)地增長(zhǎng),互聯(lián)網(wǎng)的用戶也不斷增加。如何從各種數(shù)據(jù)中快速準(zhǔn)確的找到人們需要的信息,并應(yīng)對(duì)不同用戶產(chǎn)生的不同規(guī)則及格式的數(shù)據(jù),成為當(dāng)前信息領(lǐng)域亟待解決的兩個(gè)問題。本文以應(yīng)急領(lǐng)域?yàn)閼?yīng)用背景,以地名數(shù)據(jù)為研究對(duì)象,研究如何解決上述兩個(gè)問題。主要的工作包括基于統(tǒng)計(jì)學(xué)習(xí)的中文地名自動(dòng)識(shí)別和中文地名標(biāo)準(zhǔn)化。
　　 中文地名識(shí)別屬于自然語言處理領(lǐng)域中命名實(shí)體識(shí)別的范疇,已有研究使用基于規(guī)則的方法以及基于統(tǒng)

2、計(jì)學(xué)習(xí)的方法。本文采用基于統(tǒng)計(jì)學(xué)習(xí)的方法,使用最大熵模型進(jìn)行中文地名自動(dòng)識(shí)別,主要的工作包括:
　　 1、中文地名特點(diǎn)分析:包括對(duì)中文地名用字特征、出現(xiàn)語境等特點(diǎn)進(jìn)行分析。
　　 2、中文地名識(shí)別特征選擇和建模:根據(jù)中文地名的特點(diǎn),選擇特征并使用最大熵對(duì)地名識(shí)別進(jìn)行建模。
　　 3、中文地名識(shí)別實(shí)驗(yàn):使用標(biāo)準(zhǔn)語料庫,進(jìn)行地名識(shí)別的實(shí)驗(yàn),并分組實(shí)驗(yàn)不同特征在模型中的作用。并通過添加規(guī)則改進(jìn)地名識(shí)別的召回率。實(shí)驗(yàn)證明

3、,最大熵模型的識(shí)別結(jié)果相比對(duì)比系統(tǒng)有顯著提高。
　　 中文地名標(biāo)準(zhǔn)化包括兩個(gè)部分,即地名的標(biāo)注和歸一化。地名的標(biāo)注包括將長(zhǎng)地名中不同元素塊分割開以及按地名元素含義不同加上不同標(biāo)簽。歸一化指解決重名、缺失等問題,使地名符合特定格式。地名標(biāo)準(zhǔn)化的主要工作包括:
　　 1、中文長(zhǎng)地名分詞:首先使用已有工具對(duì)長(zhǎng)地名分詞,然后使用啟發(fā)式的算法結(jié)合統(tǒng)計(jì)語言模型改進(jìn)分詞結(jié)果。
　　 2、中文長(zhǎng)地名結(jié)構(gòu)標(biāo)注:對(duì)于正確分詞的地名,