基于LSTM的英文文本蘊(yùn)含識(shí)別方法研究.pdf

1、文本蘊(yùn)含識(shí)別是自然語(yǔ)言處理領(lǐng)域里一個(gè)關(guān)鍵而又充滿挑戰(zhàn)的任務(wù)。它被廣泛地應(yīng)用于機(jī)器翻譯、文檔自動(dòng)文摘和語(yǔ)義檢索等任務(wù)中。近十年來(lái)，得益于相關(guān)語(yǔ)義評(píng)測(cè)比賽的推動(dòng)，文本蘊(yùn)含識(shí)別逐漸吸引起越來(lái)越多研究者的關(guān)注。早期解決該任務(wù)的方法主要集中在人工抽取特征結(jié)合分類器的方案上。這類方法有兩個(gè)缺陷，一是非常依賴于許多并不完善的基礎(chǔ)NLP技術(shù)，所以錯(cuò)誤傳播問(wèn)題在這類方法中普遍存在；二是在人工構(gòu)建和提取特征的過(guò)程中通常需要大量外部語(yǔ)義資源的支持，會(huì)耗費(fèi)較多

2、的人力和時(shí)間。隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，越來(lái)越多的研究者開(kāi)始利用神經(jīng)網(wǎng)絡(luò)模型來(lái)解決NLP任務(wù)，并且取得了許多突破性成就。端到端的神經(jīng)網(wǎng)絡(luò)能夠有效地避免上述兩個(gè)缺陷。近期發(fā)布的StanfordNaturalLanguage Inference語(yǔ)料庫(kù)，其訓(xùn)練集規(guī)模相比于同類評(píng)測(cè)語(yǔ)料庫(kù)有了兩個(gè)量級(jí)的增長(zhǎng)，這使得利用深度學(xué)習(xí)方法來(lái)解決文本蘊(yùn)含任務(wù)成為了可能。目前，基于深度神經(jīng)網(wǎng)絡(luò)的文本蘊(yùn)含識(shí)別方法主要分為兩類：基于句子表示的模型和基于句子匹配

3、的模型。絕大多數(shù)已提出的方法都利用LSTM進(jìn)行句子編碼。本文的主要研究工作結(jié)合上述三種文本蘊(yùn)含識(shí)別方法展開(kāi)：
　　1.基于邏輯回歸模型的文本蘊(yùn)含識(shí)別。這部分工作作為本文中的一種基線方法。針對(duì)SNLI語(yǔ)料庫(kù)規(guī)模較大的特點(diǎn)，提取四類與模式匹配和句子相似度相關(guān)的特征，然后對(duì)特征進(jìn)行簡(jiǎn)單過(guò)濾去除冗余，最后利用邏輯回歸模型完成分類任務(wù)。
　　2.基于句子表示的文本蘊(yùn)含識(shí)別。實(shí)現(xiàn)基于暹羅網(wǎng)絡(luò)結(jié)構(gòu)的文本蘊(yùn)含識(shí)別模型。提出了一種基于雙向LS

4、TM的句子編碼方法，前提句和假設(shè)句分別獨(dú)立編碼，產(chǎn)生兩個(gè)句子表示，然后通過(guò)連接、按位相乘和按位相減操作進(jìn)行句子匹配，最后通過(guò)Softmax分類。
　　3.融合Attention機(jī)制的文本蘊(yùn)含識(shí)別。提出了基于LSTM的前提假設(shè)合并輸入的句子匹配模型。然后將Attention機(jī)制應(yīng)用于本文提出的兩個(gè)模型中。通過(guò)Attention對(duì)句子中單詞的重要性進(jìn)行了區(qū)分，利用Attention權(quán)重來(lái)得到更加準(zhǔn)確的句子表示。SNLI語(yǔ)料庫(kù)上的實(shí)驗(yàn)證