無(wú)指導(dǎo)學(xué)習(xí)下基于修正詞頻庫(kù)的分詞方法研究.pdf

1、漢語(yǔ)自動(dòng)分詞是中文信息處理中的一項(xiàng)基礎(chǔ)性課題，同時(shí)也是智能化中文信息處理的關(guān)鍵所在。與此同時(shí)，隨著WWW的蓬勃興起以及電子出版物的大行其道，對(duì)漢語(yǔ)自動(dòng)分詞研究又提出了一系列新的課題。如何增強(qiáng)分詞系統(tǒng)在開(kāi)放環(huán)境下的適應(yīng)性和健壯性，則成為主要的研究目標(biāo)。無(wú)指導(dǎo)學(xué)習(xí)下基于修正詞頻庫(kù)的分詞方法研究，正是針對(duì)這一問(wèn)題而提出的。 本文主要研究?jī)?nèi)容及取得成果包括如下幾個(gè)方面： ①通過(guò)引入修正詞頻庫(kù)，提出了一種詞頻參數(shù)無(wú)指導(dǎo)自動(dòng)學(xué)習(xí)機(jī)制

2、，突破了傳統(tǒng)基于詞典或訓(xùn)練語(yǔ)料的詞頻參數(shù)獲取的束縛，增強(qiáng)系統(tǒng)在開(kāi)放環(huán)境下處理真實(shí)文本的能力，實(shí)現(xiàn)了對(duì)知識(shí)靜態(tài)的重組和動(dòng)態(tài)的學(xué)習(xí)，使系統(tǒng)實(shí)現(xiàn)自適應(yīng)地最優(yōu)化。并給出了一種新的分詞系統(tǒng)模型框架。 ②采用基于修正詞頻庫(kù)的學(xué)習(xí)機(jī)制，并引入訓(xùn)練語(yǔ)料和待切分文本的詞頻信息，提出了一種基于上下文的n-最大概率切分方法。該方法采用了統(tǒng)計(jì)模型，克服了傳統(tǒng)詞典和訓(xùn)練語(yǔ)料的局限性，增強(qiáng)了系統(tǒng)處理真實(shí)文本的能力；同時(shí)能更有效地得到數(shù)量較少、召回率較高的候

3、選切分結(jié)果集。 ③針對(duì)未登錄詞識(shí)別問(wèn)題，在傳統(tǒng)的互信息統(tǒng)計(jì)量和t-測(cè)試差統(tǒng)計(jì)量的基礎(chǔ)上，將二者通過(guò)線(xiàn)性與非線(xiàn)性組合，提出了一個(gè)新統(tǒng)計(jì)量(組合統(tǒng)計(jì)量)，并給出了一種子圖提取技術(shù)。實(shí)驗(yàn)表明，統(tǒng)計(jì)量與子圖提取技術(shù)有利于未登錄詞的有效識(shí)別。進(jìn)而結(jié)合 統(tǒng)計(jì)量及子圖提取技術(shù)，提出了一種未登錄詞識(shí)別方法。 ④將未登錄詞識(shí)別方法與基于上下文的n-最大概率切分方法結(jié)合，提出了一種新的分詞算法。并且基于國(guó)內(nèi)普遍采用的語(yǔ)料庫(kù)（人民日?qǐng)?bào)98年1