常用詞的兼類自動識別研究.pdf

1、在自然語言處理的研究中,漢語語料庫的質(zhì)量具有舉足輕重的作用,高質(zhì)量的語料庫對學(xué)者們來說越來越重要,這就必須要考慮現(xiàn)代漢語中兼類詞的現(xiàn)象。在漢語中,兼類詞的數(shù)量雖然不多,但兼類現(xiàn)象很復(fù)雜,詞的兼類問題是一個普遍存在的歧義現(xiàn)象,這給詞性標(biāo)注帶來了很大困難,正確識別兼類詞的詞性是漢語詞性標(biāo)注中最關(guān)鍵的問題之一。
　　 本文使用基于統(tǒng)計的方法對兼類詞進(jìn)行研究,分別采用基于條件隨機(jī)場模型、最大熵模型和K近鄰算法等方法,對常用的兼類詞進(jìn)行了

2、實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明基于統(tǒng)計的方法在常用詞的兼類識別上具有很好的識別效果,可以較好地對兼類詞的詞性進(jìn)行識別,并且已經(jīng)在語料中取得了較高的準(zhǔn)確率,但并不是所有的兼類詞都可以達(dá)到高的識別結(jié)果,也存在一些用統(tǒng)計方法識別效果不夠理想的詞,針對這種個別現(xiàn)象,進(jìn)一步選擇嘗試基于規(guī)則的識別方法。在統(tǒng)計結(jié)果的基礎(chǔ)上,本文又針對一些用統(tǒng)計方法識別效果不夠好的兼類詞考慮基于規(guī)則的識別方法,根據(jù)它們不同詞性的不同特征,抽取其中具有可操作性的判斷條件,利用BNF