基于標(biāo)注語料庫(kù)的漢語語義構(gòu)詞模式預(yù)測(cè)研究.pdf

1、隨著中文信息處理技術(shù)的快速發(fā)展，由于計(jì)算機(jī)不能完全“理解”詞語的語義，從而導(dǎo)致文本和對(duì)話層面的多義和歧義現(xiàn)象以及未登錄詞等問題也日漸突出。如何使計(jì)算機(jī)準(zhǔn)確“理解”漢語詞語的語義，這就需要計(jì)算機(jī)首先“明白”在語義的角度各個(gè)漢字轉(zhuǎn)化整合成詞語的規(guī)則。因此本文提出基于大規(guī)模標(biāo)注語料庫(kù)構(gòu)建漢語語義構(gòu)詞模式預(yù)測(cè)模型的課題。該課題可以顯著提高未登錄詞釋義、消除歧義、詞典編纂、機(jī)器翻譯等的效率和準(zhǔn)確度。
　　首先，在查閱文獻(xiàn)資料并咨詢漢語言文學(xué)

2、領(lǐng)域和模式識(shí)別領(lǐng)域的專家和學(xué)者基礎(chǔ)上，提出將漢語語義構(gòu)詞規(guī)則與模式識(shí)別算法相結(jié)合的解決方案。針對(duì)該方案，對(duì)比分析多種模式識(shí)別算法，決定采用二分類Logistic回歸模型和樸素貝葉斯模型預(yù)測(cè)漢語語義構(gòu)詞模式。另外，本文還通過加入漢字的詞性以進(jìn)一步提高計(jì)算機(jī)預(yù)測(cè)漢語語義構(gòu)詞模式的準(zhǔn)確率，因此在建模之前，基于原標(biāo)注語料庫(kù)對(duì)漢字的詞性進(jìn)行自動(dòng)標(biāo)注和人工檢查。
　　然后，本文對(duì)預(yù)測(cè)漢語語義構(gòu)詞模式問題研究中，基于二分類Logistic回歸和

3、樸素貝葉斯構(gòu)建漢語語義構(gòu)詞模式預(yù)測(cè)模型并進(jìn)行仿真實(shí)驗(yàn)。先將標(biāo)注語料庫(kù)中的八類語義構(gòu)詞模式兩兩分組，并劃分所得每組樣本集為訓(xùn)練集和測(cè)試集，使得二分類Logistic回歸模型和樸素貝葉斯模型先基于每組的訓(xùn)練集學(xué)習(xí)語義構(gòu)詞規(guī)則，然后在每組的測(cè)試集上預(yù)測(cè)語義構(gòu)詞模式，最后使用Kolmogorov-Smirnov檢驗(yàn)統(tǒng)計(jì)量檢驗(yàn)兩種模型的分類擬合度，以及計(jì)算兩種模型預(yù)測(cè)結(jié)果的混淆矩陣比較兩種模型的預(yù)測(cè)準(zhǔn)確度。
　　最后，經(jīng)過仿真實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，