基于特殊標(biāo)志符的中文分詞算法研究.pdf

1、中文信息處理是一個(gè)繁瑣而龐大的信息處理工程，中文分詞的處理則是整個(gè)工程當(dāng)中的一個(gè)基礎(chǔ)且重要的環(huán)節(jié)。計(jì)算機(jī)對(duì)漢語(yǔ)的理解，首先要對(duì)句子能夠進(jìn)行有效而正確的識(shí)別，要正確的理解一句話，則要進(jìn)行正確而恰當(dāng)?shù)姆衷~，在詞的基礎(chǔ)上來理解語(yǔ)句。然而，在對(duì)比中文和英文時(shí)了解到，英文句子的組成是以詞為單位，并用空格來隔開相鄰的單詞；而中文卻是以字為單位，由字連成句子來表達(dá)一個(gè)完整的意思。計(jì)算機(jī)可以很容易地理解一個(gè)英文單詞，從而相應(yīng)的做出判斷；而對(duì)由單個(gè)字組成

2、的中文句子則須先通過中文分詞技術(shù)，將整句劃分為單個(gè)詞才能理解。因此，中文分詞的過程就是用一定的分詞規(guī)則將整句劃分為分散的字或詞的過程。本文主要對(duì)中文分詞技術(shù)進(jìn)行了以下幾個(gè)方面的研究。
　　 首先，簡(jiǎn)要介紹了本課題的研究背景，本課題的主要研究?jī)?nèi)容和研究意義；
　　 明確研究的方向才能繼續(xù)下一步的研究工作。介紹了中文分詞及相關(guān)技術(shù)在國(guó)內(nèi)外的發(fā)展現(xiàn)狀，列舉了一些典型的分詞算法和分詞系統(tǒng)，定義了中文分詞的基本概念，為后來的深入學(xué)

3、習(xí)研究提供前期可借鑒的經(jīng)驗(yàn)基礎(chǔ)。
　　 其次，在對(duì)前人提出的研究成果基礎(chǔ)之上進(jìn)行深入分析，比較現(xiàn)有的分詞技術(shù)和分詞系統(tǒng)各自的優(yōu)點(diǎn)和缺點(diǎn)，并指出了中文分詞所面臨的難點(diǎn)；結(jié)合對(duì)以上的分析作者提出了一種基于特殊標(biāo)志符的分詞方法。在對(duì)漢語(yǔ)詞性的分析和研究基礎(chǔ)上，根據(jù)漢字在漢語(yǔ)中的詞性表現(xiàn)，通過大量的文獻(xiàn)參照，總結(jié)并提出了漢語(yǔ)特殊標(biāo)志符集，為本文下一步進(jìn)行的分詞方法的研究和實(shí)現(xiàn)奠定基礎(chǔ)。
　　 再者，對(duì)現(xiàn)有的分詞詞表結(jié)構(gòu)進(jìn)行分析比

4、對(duì)，理解各種分詞詞典機(jī)制的優(yōu)缺點(diǎn)，并結(jié)合中文字詞的一些表象特性，作者提出了一種改進(jìn)的以二字詞為詞根的中文詞表結(jié)構(gòu)，并對(duì)該詞表結(jié)果做了詳細(xì)的結(jié)構(gòu)解釋和說明，對(duì)比其在結(jié)構(gòu)上的分詞優(yōu)勢(shì)。
　　 最后，作者將特殊標(biāo)志符集與改進(jìn)的新詞典結(jié)構(gòu)相結(jié)合，在實(shí)驗(yàn)室環(huán)境下對(duì)本文的分詞方法進(jìn)行測(cè)試，使用SOUGOU 訓(xùn)練語(yǔ)料庫(kù)中的實(shí)驗(yàn)文本分別在本課題分詞系統(tǒng)中和其他分詞系統(tǒng)中進(jìn)行分詞實(shí)驗(yàn)，通過人工對(duì)本課題的研究成果進(jìn)行準(zhǔn)確度和分詞速度的測(cè)試上的比對(duì)。