基于神經(jīng)網(wǎng)絡(luò)模型的漢語(yǔ)基本塊識(shí)別.pdf

1、漢語(yǔ)基本塊識(shí)別是漢語(yǔ)語(yǔ)塊分析體系中的基礎(chǔ)任務(wù)之一，屬于淺層句法分析的一個(gè)環(huán)節(jié)。對(duì)給定的漢語(yǔ)句子，漢語(yǔ)基本塊識(shí)別任務(wù)將形式化為以字為基本標(biāo)注單位的序列標(biāo)注問(wèn)題?；诙鄬由窠?jīng)網(wǎng)絡(luò)模型，以漢字的分布表征作為初始輸入，融合分詞隱層特征進(jìn)行模型訓(xùn)練，探索構(gòu)建性能更為優(yōu)良的漢語(yǔ)基本塊識(shí)別任務(wù)的神經(jīng)網(wǎng)絡(luò)模型。以原始句子為輸入，以字為基本標(biāo)注單位構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型，不同于傳統(tǒng)方法的標(biāo)注模型那樣對(duì)人為構(gòu)建的特征的依賴，以及語(yǔ)塊分析對(duì)分詞系統(tǒng)性能的依賴。<

2、br>　　本文的主要?jiǎng)?chuàng)新點(diǎn)有以下兩點(diǎn)：
　　一是以整句的似然函數(shù)作為優(yōu)化目標(biāo)。目前文獻(xiàn)中神經(jīng)網(wǎng)絡(luò)模型在漢語(yǔ)基本塊識(shí)別時(shí)是以單點(diǎn)似然為優(yōu)化目標(biāo)，對(duì)較長(zhǎng)的語(yǔ)塊的識(shí)別不夠準(zhǔn)確。因此，本文借鑒Collobert etal(2011)的方法，以整句的似然函數(shù)為優(yōu)化目標(biāo)函數(shù)，編程實(shí)現(xiàn)了對(duì)此目標(biāo)函數(shù)的SGD優(yōu)化算法。實(shí)驗(yàn)結(jié)果表明，應(yīng)用此方法，整個(gè)句子輸出的標(biāo)記序列更為合理，一定程度上減少了不合法標(biāo)記的產(chǎn)生（比如，將語(yǔ)塊內(nèi)部的標(biāo)點(diǎn)符號(hào)劃分到語(yǔ)塊外

3、的現(xiàn)象），有效提升了漢語(yǔ)基本塊的識(shí)別性能，特別對(duì)多字塊的召回率提升了3％-5%。
　　二是提出了融合分詞隱層特征的漢語(yǔ)基本塊識(shí)別的神經(jīng)網(wǎng)絡(luò)模型。該模型將分詞與基本塊識(shí)別兩個(gè)任務(wù)融合到一起進(jìn)行訓(xùn)練，兩者都以字的分布表特作為輸入，共享同一個(gè)字的分布表征矩陣。模型參數(shù)訓(xùn)練過(guò)程中，對(duì)兩個(gè)任務(wù)模型采用交替訓(xùn)練的方式，訓(xùn)練時(shí)每次只更新自己模型部分的參數(shù)，但是對(duì)于共享的字分布表征矩陣中的參數(shù)要共同更新。不但避免了分詞部分的參數(shù)對(duì)分詞任務(wù)過(guò)于擬合