基于深度學(xué)習(xí)的中文自然語言處理.pdf

1、深度學(xué)習(xí)是當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域研究的前沿與熱點之一，深度學(xué)習(xí)的研究與應(yīng)用已經(jīng)在英文自然語言處理領(lǐng)域成功地產(chǎn)生了諸多突破性的成果。在中文自然語言處理領(lǐng)域，基于深度學(xué)習(xí)的研究近年來方興未艾。但是，由于中文與英文本質(zhì)上的不同特點，在英文自然語言處理領(lǐng)域獲得良好結(jié)果的深度學(xué)習(xí)模型和方法無法被直接應(yīng)用于中文，研究人員需要根據(jù)中文的特點重新建立合適的深度學(xué)習(xí)模型，尋找合適的訓(xùn)練方法。
　　本文在深度學(xué)習(xí)的英語自然語言處理模型的基礎(chǔ)上，提出了適用于

2、中文自然語言處理的深度神經(jīng)網(wǎng)絡(luò)模型，以及針對該模型的完整的訓(xùn)練方法，包括無監(jiān)督預(yù)訓(xùn)練方法以及有監(jiān)督調(diào)優(yōu)訓(xùn)練方法。該模型無需任何語言學(xué)知識或手工特征設(shè)計，可被用于中文分詞、詞性標(biāo)注以及命名實體識別等多種中文自然語言處理任務(wù)。具體來說:1）本文針對中文的特點，提出了中文自然語言處理深度神經(jīng)網(wǎng)絡(luò)模型;2）本文提出了一個新的優(yōu)化目標(biāo)來構(gòu)造中文神經(jīng)語言模型，并從理論上說明了使用本文提出的優(yōu)化目標(biāo)訓(xùn)練中文神經(jīng)語言模型等價于訓(xùn)練一個特殊的降噪自動編碼

3、器——文本窗口降噪自動編碼器(Text Window Denoising Autoencoder);3）本文描述了通過堆疊文本窗口自動編碼器來預(yù)訓(xùn)練中文自然語言處理深度神經(jīng)網(wǎng)絡(luò)的過程;4）本文說明了針對具體任務(wù)有監(jiān)督地調(diào)優(yōu)訓(xùn)練中文自然語言處理深度神經(jīng)網(wǎng)絡(luò)的過程。
　　本文根據(jù)提出的模型以及訓(xùn)練方法，建立了一個完整的基于深度神經(jīng)網(wǎng)絡(luò)的中文自然語言處理系統(tǒng)。該系統(tǒng)的主要特點為:1）完全基于統(tǒng)計，無需任何語言學(xué)知識或手工特征設(shè)計;2）支