漢語逗號與冒號的自動分類識別研究.pdf

1、標點符號研究是篇章分析中最基本的一個研究任務。有效識別標點符號在句子中的作用,是篇章分析研究的一個關(guān)鍵。因此,標點符號識別是一項很有意義的研究工作。本文針對標點符號多元分類的自動識別問題進行了深入的研究,主要內(nèi)容包括以下三個方面：
　　⑴提出了一種基于句子的分詞與詞性標注信息進行漢語逗號自動分類的方法。核心工作是特征的篩選與抽取。我們分別采用最大熵模型和CRF模型構(gòu)建逗號分類器,實現(xiàn)對漢語逗號的七元分類與識別。實驗結(jié)果顯示,使用C

2、RF模型的識別正確率要高于使用最大熵模型的識別正確率,且這兩種模型的分類精度都非常接近基于句法分析方法的分類精度,證明本文提出的方法是可行的。
　　⑵提出了一種針對漢語冒號的標注體系與識別方法。本文收集了含有大量漢語冒號的語料,并在對漢語冒號的使用方法進行統(tǒng)計與分析后,制定了漢語冒號的七元分類的分類標準,然后在分詞與詞性標注的語料上,進行漢語冒號七元分類標簽的人工標注。本文使用規(guī)則法和最大熵模型法實現(xiàn)冒號的自動分類與識別,并將基于

3、規(guī)則法進行冒號自動分類與識別的實驗作為本文的基準系統(tǒng)。實驗結(jié)果表明,基于最大熵模型的自動識別正確率明顯高于基準系統(tǒng)的自動識別正確率。
　　⑶研究了通過添加其他標點符號的分類標簽作為新特征的方法,來提高漢語逗號自動分類與識別的正確率。通過對CTB6.0語料的統(tǒng)計與分析發(fā)現(xiàn),漢語冒號和分號都對逗號的自動分類識別結(jié)果存在影響。經(jīng)實驗驗證:分別添加漢語冒號與分號分類標簽作為新特征時,可以不同程度的提高漢語逗號七元分類的自動識別正確率,當同