基于概念的中文分詞模型研究.pdf

1、隨著信息社會的飛速發(fā)展，人們對信息的理解的準確性提出了越來越高的要求。如何提高計算機自然語言處理的能力已經(jīng)成為擺在研究人員面前的一個非常緊迫的課題。計算機在處理中文語言的文本時，要對處理的文本要進行詞的切分，正確的分詞是計算機對中文文本進行理解的前提和基礎(chǔ)。本文提出了通過概念分詞對中文文本進行處理的方法，有效地降低了文本向量的維度，處理了同義多義的語言現(xiàn)象，縮短了文本處理的時間。 1.在介紹了中文分詞技術(shù)發(fā)展的歷史以及所面臨的主

2、要問題和難點；同時介紹了當前中分詞技術(shù)所用到的一些主要的方法和他們的優(yōu)缺點。 2.為了構(gòu)建概念分詞所需要的概念知識庫，本文論述了概念理論領(lǐng)域內(nèi)主要的研究現(xiàn)狀，分析和比較了Hownet(知網(wǎng))和HNC(概念層次網(wǎng)絡(luò))理論各自的優(yōu)點和不足。 3.提出了概念空間模型的定義，通過概念知識庫的設(shè)計和概念語義距離的定義來計算文本向量的維度；同時，作者設(shè)計實現(xiàn)了概念分詞系統(tǒng)模型，包括系統(tǒng)的結(jié)構(gòu)設(shè)計和分詞相關(guān)的各種算法。 4.對