基于語素的漢語詞法分析方法研究.pdf

1、作為中文信息處理的關(guān)鍵問題之一,漢語詞法分析主要包括分詞、詞性標(biāo)注和詞義消歧三個子任務(wù)。雖然近年來漢語詞法分析取得很大進(jìn)展,但處理大規(guī)模開放文本時依然面臨巨大的挑戰(zhàn),尤其是未登錄詞問題。因此,如何有效發(fā)掘和表示詞法特征并解決未登錄詞識別和預(yù)測問題是目前漢語詞法分析研究所面臨的一個主要困難,同時也是一個研究熱點。
　　 本文以大規(guī)模語料庫為基礎(chǔ),在機(jī)器學(xué)習(xí)框架下,融合詞語內(nèi)部和上下文特征,研究基于語素的漢語詞法分析方法,重點解決漢

2、語未登錄詞識別及其詞性和詞義預(yù)測問題。具體地,本文從以下三個方面展開研究:
　　 首先,本文以語素為基本構(gòu)詞單位,利用條件隨機(jī)場模型進(jìn)行漢語分詞研究,重點探索了不同標(biāo)記集和不同窗口大小對基于語素的漢語分詞模型分詞性能的影響。在SIGHAN Bakeoff2005數(shù)據(jù)上的實驗結(jié)果表明,語素的引入有利于未登錄詞識別性能的提高。
　　 其次,針對漢語詞性標(biāo)注中存在的未登錄詞詞性預(yù)測問題,本文以語素為基礎(chǔ),發(fā)掘并融合詞語內(nèi)部的詞

3、法特征,實現(xiàn)了一個基于最大熵模型的漢語詞性標(biāo)注系統(tǒng),并重點分析了影響漢語未登錄詞詞性預(yù)測性能的各種因素。在SIGHAN
　　 Bakeoff2007詞性標(biāo)注數(shù)據(jù)上的實驗表明,基于語素的漢語詞性標(biāo)注方法在未登錄詞詞性預(yù)測方面具有較大優(yōu)勢。
　　 最后,本文提出一種基于中心語素的樸素貝葉斯模型,并在該模型下進(jìn)行漢語未登錄詞的詞義預(yù)測研究。初步的實驗證明,基于中心語素的樸素貝葉斯模型可以在一定程度上解決漢語未登錄詞的詞義預(yù)測問