SSBS中文分詞處理系統(tǒng)的研究.pdf

1、隨著信息技術(shù)的高速發(fā)展，中文信息處理在計(jì)算機(jī)各個(gè)領(lǐng)域得到了長(zhǎng)足的發(fā)展，而中文分詞是中文信息處理的基礎(chǔ)所在，由于詞是連接句子與信息處理平臺(tái)的中間環(huán)節(jié)，因此中文分詞的處理結(jié)果直接影響到中文信息處理的準(zhǔn)確性，成為制約中文信息處理平臺(tái)處理能力的瓶頸所在。
　　 本文對(duì)中文自動(dòng)分詞處理技術(shù)的現(xiàn)狀，原理、流程，評(píng)價(jià)指標(biāo)以及國(guó)內(nèi)外發(fā)展?fàn)顩r進(jìn)行了一個(gè)綜述，對(duì)各種分詞算法進(jìn)行了深入的學(xué)習(xí)和研究，在分析了目前的各種分詞算法的優(yōu)劣所在之后，提出了改進(jìn)

2、思路。
　　 使用支持向量機(jī)與向量空間建立了新的CWSSBS模型，由于支持向量機(jī)具有在有限樣本的訓(xùn)練下能夠建立一個(gè)復(fù)雜的分詞模型和實(shí)現(xiàn)較強(qiáng)的自我學(xué)習(xí)能力，而且使用倒排字典的方法來保證常用的，最新的未登錄新詞處于最優(yōu)先地位，因此所改進(jìn)的CWSSBS自動(dòng)學(xué)習(xí)未登錄新詞的能力得到了有效的提高。在支持向量機(jī)的作用下，字典具有自我學(xué)習(xí)的功能，從而使得本系統(tǒng)還具有較高的陌生環(huán)境適應(yīng)性以及強(qiáng)壯的可移植性，并且在人工以及機(jī)器監(jiān)督機(jī)制的干預(yù)下能夠