基于統(tǒng)計(jì)學(xué)習(xí)的中文分詞方法的研究.pdf

1、中文分詞作為中文自然語(yǔ)言處理的基礎(chǔ)正受到越來(lái)越多的關(guān)注，準(zhǔn)確快速地識(shí)別出中文語(yǔ)句中的詞語(yǔ)對(duì)于有效地理解漢語(yǔ)語(yǔ)句內(nèi)容以及后續(xù)處理任務(wù)意義重大?；诮y(tǒng)計(jì)學(xué)習(xí)的中文分詞方法通過(guò)對(duì)已標(biāo)注語(yǔ)料庫(kù)的分析來(lái)訓(xùn)練分詞模型，并采用分詞模型來(lái)預(yù)測(cè)未知語(yǔ)句中漢字的詞位標(biāo)記從而達(dá)到識(shí)別句中詞語(yǔ)邊界的目的。由于漢語(yǔ)本身特點(diǎn)，現(xiàn)有中文分詞方法難以有效識(shí)別出語(yǔ)句中存在的命名實(shí)體，而相關(guān)改進(jìn)方法在模型訓(xùn)練效率和預(yù)測(cè)效率上難以讓人滿意。如何快速準(zhǔn)確地完成中文分詞一直是中

2、文自然語(yǔ)言處理所需解決的主要問(wèn)題之一。
　　本文采用條件隨機(jī)場(chǎng)作為分詞方法所用模型，通過(guò)對(duì)中文分詞預(yù)處理方法和中文分詞算法的分析提出一種改進(jìn)的基于統(tǒng)計(jì)學(xué)習(xí)的中文分詞方法。首先，本文對(duì)中文詞語(yǔ)特征進(jìn)行分析，提出一種復(fù)合詞位標(biāo)記集合來(lái)使模型在引入少量參數(shù)的前提下能夠在分詞的同時(shí)更好地識(shí)別出語(yǔ)句中的命名實(shí)體，并提出了采用復(fù)合詞位標(biāo)記集合的分詞模型的計(jì)算方法。然后，對(duì)于現(xiàn)有模型特征提取算法獲取到的特征無(wú)法表達(dá)其對(duì)標(biāo)記影響程度的不足，本文提

3、出一種改進(jìn)的特征提取算法，該算法通過(guò)綜合考慮特征共現(xiàn)頻率以及特征對(duì)標(biāo)記結(jié)果的間接影響來(lái)計(jì)算實(shí)值特征函數(shù)，通過(guò)為模型訓(xùn)練設(shè)置合理迭代初始點(diǎn)來(lái)提高訓(xùn)練效率。其次，針對(duì)現(xiàn)有基于L-BFGS模型訓(xùn)練算法效率較低的不足，本文提出一種改進(jìn)模型訓(xùn)練算法，通過(guò)合理設(shè)置每次迭代的學(xué)習(xí)步長(zhǎng)提高訓(xùn)練速度并減弱噪聲數(shù)據(jù)的負(fù)面影響，另外，本文提出一種基于Vitebi的改進(jìn)模型預(yù)測(cè)算法以用于采用復(fù)合詞位標(biāo)記集合分詞模型的預(yù)測(cè)標(biāo)注，并通過(guò)引入遍歷剪枝策略來(lái)提高算法預(yù)