基于條件隨機(jī)場的漢語自動(dòng)分詞技術(shù)研究.pdf

1、隨著科學(xué)技術(shù)的發(fā)展和海量信息的涌現(xiàn),信息處理技術(shù)已經(jīng)成為當(dāng)今世界發(fā)展不可或缺的一部分,要在海量的信息中提取有用的知識(shí),就必須要讓機(jī)器“讀懂”這些由人類語言所描述的信息,而詞是最小的能夠獨(dú)立活動(dòng)的有意義的語言成分。因此將詞確定下來是理解自然語言的第一步。然而漢語習(xí)慣中詞與詞之間沒有間隔,這就決定了漢語自動(dòng)分詞技術(shù)成為自然語言理解中的關(guān)鍵技術(shù)。
　　從上世紀(jì)80年代以來,國內(nèi)外公開報(bào)道的漢語自動(dòng)分詞算法數(shù)量不下于幾十種。在這些方法中,

2、利用統(tǒng)計(jì)機(jī)器學(xué)習(xí)理論的分詞方法是近年來研究最多的方法,其基本思想就是將漢語分詞和詞性標(biāo)注問題轉(zhuǎn)化為分類問題。條件隨機(jī)場方法就是這其中的一種。它是在傳統(tǒng)方法瓶頸情況下誕生的一種統(tǒng)計(jì)學(xué)習(xí)方法,它同時(shí)具有隱馬爾科夫模型和最大熵馬爾科夫模型的優(yōu)點(diǎn)。此外,該方法還解決了上述模型中出現(xiàn)的標(biāo)注偏置等問題,而且所有特征可以進(jìn)行全局歸一化,能夠求得全局的最優(yōu)解。
　　本文基于條件隨機(jī)場模型,研究了該模型在漢語分詞方面的應(yīng)用。論文的主要工作和特色如下