基于詞的分布式表示的中文閱讀理解研究.pdf

1、自然語(yǔ)言處理是人工智能研究的核心領(lǐng)域之一。在自然語(yǔ)言處理中,閱讀理解技術(shù)的發(fā)展進(jìn)步對(duì)于處于信息時(shí)代的人們準(zhǔn)確獲取所需信息帶來(lái)便利。閱讀理解任務(wù)是對(duì)給定的自然語(yǔ)言文章以及給定與文章相關(guān)的問(wèn)題,計(jì)算機(jī)能夠從該文中自動(dòng)獲得問(wèn)題的答案句。近年來(lái),國(guó)內(nèi)外關(guān)于閱讀理解的研究有很多,大都是基于句子中詞語(yǔ)之間的匹配進(jìn)行研究。而基于漢語(yǔ)中詞語(yǔ)或者字的分布式實(shí)值表示的向量在歐氏空間中來(lái)刻畫詞語(yǔ)之間相似關(guān)系的閱讀理解研究還很少。
　　本文首先嘗試使用神

2、經(jīng)網(wǎng)絡(luò)語(yǔ)言模型訓(xùn)練得到漢語(yǔ)中詞和字的向量表示矩陣,而后基于山西大學(xué)自主研究開發(fā)的中文閱讀理解語(yǔ)料庫(kù) CRCC,對(duì)于由問(wèn)句和答案句構(gòu)成的兩類分類問(wèn)題,使用最大熵模型對(duì)每個(gè)句子進(jìn)行建模,在原始的十個(gè)詞層面特征的基礎(chǔ)上加入我們構(gòu)建的詞的分布式實(shí)值向量表示這個(gè)特征,其中分布式詞向量特征分別是以下幾類:1)MAXOUT特征,刻畫問(wèn)題句和答案句的詞對(duì)應(yīng)的分布式實(shí)值向量的最大值的歐式距離;2)算法平均特征,刻畫問(wèn)句和答案句中的詞所對(duì)應(yīng)的實(shí)值向量的平均

3、值的歐式距離;3)詞的平均相似度匹配特征,對(duì)問(wèn)句和答案句對(duì)應(yīng)的實(shí)值向量先求距離再求平均值;4)余弦?jiàn)A角特征,分別對(duì)以上三個(gè)特征求余弦?jiàn)A角。這些特征主要是用來(lái)度量問(wèn)題句和候選答案句的相似程度。針對(duì)語(yǔ)料庫(kù)規(guī)模有限等情況,在語(yǔ)料上使用holdout驗(yàn)證方法,隨機(jī)切分了五次得到訓(xùn)練集和測(cè)試集。采用HumSent準(zhǔn)確率來(lái)評(píng)價(jià)模型的預(yù)測(cè)性能。
　　本文首先使用訓(xùn)練好的原始詞向量矩陣得到初步結(jié)果,而后對(duì)詞向量矩陣進(jìn)行尺度優(yōu)化,最后,在模型中加入

4、基于分布式表示的字向量矩陣和經(jīng)過(guò)尺度優(yōu)化的字向量矩陣。通過(guò)多次實(shí)驗(yàn)對(duì)比,我們選擇性能好的字向量矩陣和特征來(lái)訓(xùn)練得到本文的結(jié)果。實(shí)驗(yàn)表明,在閱讀理解問(wèn)題回答任務(wù)中,把通過(guò)尺度優(yōu)化的詞向量矩陣得到的特征加入到最大熵模型中,使用總共十一個(gè)特征進(jìn)行訓(xùn)練,在測(cè)試集上的HumSent準(zhǔn)確率達(dá)到63.37％。進(jìn)而加入基于字的分布式表示的向量矩陣和特征,最終的HumSent準(zhǔn)確率達(dá)到63.81%,比原始十個(gè)特征61.74%的HumSent準(zhǔn)確率提高2.