基于統(tǒng)計(jì)的常用漢語副詞用法自動(dòng)識別研究.pdf

1、現(xiàn)代漢語副詞用法自動(dòng)識別是面向自然語言處理的現(xiàn)代漢語副詞知識庫研究的重要內(nèi)容之一，針對基于規(guī)則的現(xiàn)代漢語副詞用法自動(dòng)識別方法存在的不足，本文在已有工作的基礎(chǔ)上，進(jìn)一步提出了基于統(tǒng)計(jì)的常用漢語副詞用法自動(dòng)識別方法。分別采用條件隨機(jī)場模型、最大熵模型和支持向量機(jī)模型，在1998年1月份《人民日報(bào)》分詞與詞性標(biāo)注語料上，對8個(gè)常用的現(xiàn)代漢語副詞進(jìn)行了統(tǒng)計(jì)實(shí)驗(yàn)，實(shí)驗(yàn)表明基于統(tǒng)計(jì)的方法在現(xiàn)代漢語副詞用法自動(dòng)識別上具有較好的識別效果，能夠很好地對未

2、知的副詞用法進(jìn)行預(yù)測，在真實(shí)語料中取得了較高的準(zhǔn)確率，與規(guī)則方法相比，統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果的平均準(zhǔn)確率有了較大的提高。實(shí)驗(yàn)證明基于統(tǒng)計(jì)的方法在常用現(xiàn)代漢語副詞用法自動(dòng)識別方面具有良好的應(yīng)用前景。
　　 根據(jù)俞士汶等提出的構(gòu)建“三位一體”的現(xiàn)代漢語虛詞知識庫的思想，本文著重研究現(xiàn)代漢語副詞用法的自動(dòng)識別，致力于采用統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)副詞用法的自動(dòng)識別。
　　 本文的主要工作包括：
　　 (1)針對已經(jīng)初步構(gòu)建的現(xiàn)代漢語副

3、詞知識庫，以副詞用法信息詞典中的例句集作為語料來考察副詞用法規(guī)則，分析規(guī)則存在的問題，對用法規(guī)則進(jìn)行修改，進(jìn)而完善副詞知識庫。
　　 (2)使用基于規(guī)則的方法對人民日報(bào)語料中副詞用法進(jìn)行自動(dòng)識別，并對識別結(jié)果進(jìn)行人工校對，形成副詞用法語料庫，并作為實(shí)驗(yàn)語料。在對人民日報(bào)語料進(jìn)行人工校對的同時(shí)，分析規(guī)則方法識別結(jié)果存在的問題，并進(jìn)一步完善副詞用法信息詞典以及副詞用法規(guī)則庫。
　　 (3)針對基于規(guī)則方法存在的不足，實(shí)現(xiàn)基于