基于錯(cuò)誤驅(qū)動(dòng)的漢語(yǔ)詞性標(biāo)注研究.pdf

1、隨著互聯(lián)網(wǎng)文化和經(jīng)濟(jì)的飛速發(fā)展和信息爆炸時(shí)代的到來(lái)，能夠在短時(shí)間內(nèi)處理大規(guī)模文本且從中挖掘和抽取語(yǔ)言信息的計(jì)算語(yǔ)言學(xué)快速地成長(zhǎng)起來(lái)。語(yǔ)料庫(kù)的規(guī)模擴(kuò)大和切分標(biāo)注水平的提高成為迫切的需要，以計(jì)算語(yǔ)言學(xué)為主的多語(yǔ)言語(yǔ)料庫(kù)切分和標(biāo)注技術(shù)越來(lái)越受到語(yǔ)言學(xué)專(zhuān)家的重視。要使語(yǔ)料庫(kù)真正為提高自然語(yǔ)言處理的水平服務(wù)，就必須對(duì)語(yǔ)料庫(kù)進(jìn)行深度挖掘和精細(xì)加工。詞性是對(duì)語(yǔ)言進(jìn)行語(yǔ)法、語(yǔ)義、語(yǔ)用分析的基礎(chǔ)和必要前提，如何解決語(yǔ)料庫(kù)的詞性標(biāo)注問(wèn)題仍是當(dāng)今的一項(xiàng)重要的

2、基礎(chǔ)工作。 漢語(yǔ)詞性標(biāo)注的成果包括基于統(tǒng)計(jì)和規(guī)則兩種處理方法。語(yǔ)言學(xué)工作者們常用的統(tǒng)計(jì)算法模型，如最大熵模型、隱馬爾可夫模型和決策樹(shù)分析等進(jìn)行大規(guī)模的詞性切分和標(biāo)注，再結(jié)合規(guī)則模板或者手工編制的排歧詞典對(duì)經(jīng)過(guò)統(tǒng)計(jì)算法訓(xùn)練的模型進(jìn)行擇優(yōu)、排歧，從而達(dá)到較為理想的結(jié)果。 本文在介紹了提出的漢語(yǔ)詞性標(biāo)注方案也是規(guī)則和統(tǒng)計(jì)結(jié)合的方法，首先在極大熵標(biāo)注模型的基礎(chǔ)上給出了一個(gè)漢語(yǔ)詞性標(biāo)注方案，并提出基于兼類(lèi)詞錯(cuò)誤學(xué)習(xí)的思想。該方案有