古漢語(yǔ)編年體的人名實(shí)體識(shí)別與詞性標(biāo)注.pdf

1、自然語(yǔ)言處理是人工智能中的重要領(lǐng)域，不但能夠幫助人們從龐大的語(yǔ)言數(shù)據(jù)中提取出需要的信息，甚至能夠理解語(yǔ)法語(yǔ)義并對(duì)其做出合理的應(yīng)答。隨著近十年來(lái)現(xiàn)代漢語(yǔ)的語(yǔ)言處理研究逐步進(jìn)展，研究者們已經(jīng)逐漸能夠從現(xiàn)代漢語(yǔ)中抽提出有效的實(shí)體信息并進(jìn)行簡(jiǎn)單的語(yǔ)法解析。然而古漢語(yǔ)作為中國(guó)的傳統(tǒng)語(yǔ)言，同樣有著智能處理的需要，古漢語(yǔ)文獻(xiàn)中蘊(yùn)藏著大量的歷史資料需要被結(jié)構(gòu)化的整理出來(lái)。本文以編年體《明史本紀(jì)》為范例，首次制作了詳細(xì)詞性標(biāo)注的古漢語(yǔ)語(yǔ)料，并分別從基于統(tǒng)

2、計(jì)與基于規(guī)則的角度嘗試對(duì)其進(jìn)行名詞實(shí)體識(shí)別與詞性標(biāo)注實(shí)驗(yàn)。首先使用了在現(xiàn)代漢語(yǔ)中效率最高的序列模型條件隨機(jī)場(chǎng)作為統(tǒng)計(jì)模型，并且根據(jù)古漢語(yǔ)的詞法特征設(shè)計(jì)了多套標(biāo)簽?zāi)０逡约皥D模型對(duì)語(yǔ)料分別進(jìn)行了實(shí)體識(shí)別與詞性標(biāo)注實(shí)驗(yàn)。在實(shí)驗(yàn)中大部分詞性的判斷有著良好的結(jié)果，而且詞性的標(biāo)注對(duì)實(shí)體識(shí)別的效率有著很好的幫助。從實(shí)驗(yàn)結(jié)果中，還發(fā)現(xiàn)了未登錄人名的判斷效率要明顯高于其他未登錄詞，從而暗示著編年體人名周?chē)兄軓?qiáng)的規(guī)則。隨后使用了基于規(guī)則的方法嘗試對(duì)相同

3、的語(yǔ)料進(jìn)行人名識(shí)別。通過(guò)觀察，發(fā)現(xiàn)了編年體裁中人物與官職的關(guān)聯(lián)，并設(shè)計(jì)了所有含有官職與姓名的句式規(guī)則。通過(guò)這些規(guī)則實(shí)現(xiàn)的算法在測(cè)試結(jié)果中有著良好的表現(xiàn)，最后分析了漏檢與錯(cuò)判的姓名的原因和規(guī)則中的不足。詞性標(biāo)注實(shí)驗(yàn)結(jié)果表明古漢語(yǔ)的信息處理不需要進(jìn)行分詞就可以達(dá)到較好的效果，但語(yǔ)料庫(kù)與專(zhuān)有名詞庫(kù)的完整性對(duì)結(jié)果有著重要的影響。而人名識(shí)別的實(shí)驗(yàn)反映出編年體中的人名句式十分規(guī)則，能夠精確的提取出絕大多數(shù)姓名，但對(duì)于其他體裁的處理則需要更深入的研究