基于字邊界特征的中文抽詞模型研究.pdf

1、中文抽詞是中文信息處理中最基本的任務(wù)之一。目前，傳統(tǒng)的中文抽詞技術(shù)主要采用基于統(tǒng)計(jì)的抽詞方法，取得了較好的結(jié)果，但仍有提升的空間?；谶@種現(xiàn)狀，本文提出了一種改進(jìn)型抽詞模型。
　　 論文首先通過(guò)總結(jié)歸納傳統(tǒng)的抽詞算法，設(shè)計(jì)了基本抽詞模型，提出了基本抽詞模型中的抽詞特征的挑選策略，構(gòu)詞評(píng)價(jià)策略，選詞策略，過(guò)濾算法等概念的標(biāo)準(zhǔn)流程和模塊功能。并通過(guò)對(duì)基本抽詞模型的原理上的分析得到了改進(jìn)基本抽詞模型的幾個(gè)關(guān)鍵點(diǎn)。
　　 在基本

2、抽詞模型的基礎(chǔ)上，引入了相應(yīng)的評(píng)價(jià)標(biāo)準(zhǔn)，針對(duì)性的設(shè)計(jì)了改進(jìn)型選詞特征的挑選策略，設(shè)計(jì)了相應(yīng)的選詞策略以及實(shí)現(xiàn)方案，改進(jìn)后的過(guò)濾算法設(shè)計(jì)，以及針對(duì)不頻繁詞匯的啟發(fā)式算法。本文根據(jù)相關(guān)理論提出了基于通過(guò)多步迭代完成抽詞的理念，針對(duì)這個(gè)理念，設(shè)計(jì)了相應(yīng)的基于字邊界抽詞特征的一整套改進(jìn)型抽詞模型的具體實(shí)現(xiàn)。
　　 實(shí)驗(yàn)部分以Bake-off2005提供的訓(xùn)練數(shù)據(jù)為基礎(chǔ)，首先分析了采用字邊界特征作為抽詞特征的可行性，接著通過(guò)采用合理的選詞