版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、人工智能主要包含運算智能、感知智能、認知智能三個層次。自然語言理解是認知智能研究的重要領(lǐng)域,也被視為人工智能完備問題之一而受到廣泛關(guān)注。自然語言通常以詞語為基本單位,通過組合詞語構(gòu)成句子和篇章。計算機理解詞語、句子、篇章離不開對自然語言的語義表征?,F(xiàn)階段,基于分布式語義假設(shè)的詞向量技術(shù)在詞語的語義表征上已經(jīng)取得了成功。然而,對于句子、篇章的語義表征仍然面臨著諸多挑戰(zhàn),如何在神經(jīng)網(wǎng)絡(luò)框架下將變長的句子、篇章表征成固定長度的低維稠密向量仍是
2、當前語義表征研究的核心問題。自然語言推理和自動文本摘要是依賴句子、篇章級語義表征的典型自然語言理解任務(wù)。現(xiàn)階段基于神經(jīng)網(wǎng)絡(luò)的自然語言推理方法在表征句子語義時,往往存在忽略語言固有的句法結(jié)構(gòu)信息、缺乏對外部語義知識的運用等問題,而現(xiàn)階段基于神經(jīng)網(wǎng)絡(luò)的概括式自動文本摘要方法主要針對短篇章的自動摘要,在表征篇章語義時沒有考慮到處理長篇章可能出現(xiàn)的冗余性問題。
本文圍繞基于神經(jīng)網(wǎng)絡(luò)的自然語言語義表征,在句子語義表征方法、自然語言推理方
3、法、自動文本摘要方法等方面開展研究工作,具體包括:
首先,研究了基于通用池化的句子語義表征方法,提出了向量化的多頭自注意力機制以獲得固定長度的句子語義向量表征。該方法將已有的最大池化、均值池化、標量多頭自注意力池化等作為特例,提升了句子語義表征能力。另外,通過引入懲罰項降低了不同頭之間語義表征的冗余性,取得了在自然語言推理、作者側(cè)寫、情感分析三個任務(wù)上的性能提升。
其次,研究了結(jié)合句法結(jié)構(gòu)與序列建模的句子語義表征與自
4、然語言推理方法。針對現(xiàn)有基于神經(jīng)網(wǎng)絡(luò)的自然語言推理方法對于語言的序列特性與句法結(jié)構(gòu)信息利用不足的問題,提出了增強型序列推理模型,并且進一步將句法結(jié)構(gòu)信息融入到局部推理建模、推理組合兩個模型組件中,提升了自然語言推理任務(wù)的性能。
再次,研究了融合外部語義知識的句子語義表征與自然語言推理方法。針對現(xiàn)有的神經(jīng)網(wǎng)絡(luò)自然語言推理方法過于依賴端到端訓(xùn)練、其語義表征模型缺乏對于外部語義知識的利用等問題,提出了一種融合外部語義知識的句子語義建
5、模與推理方法。該方法在上述的增強型序列推理模型中的協(xié)同注意力計算、局部推理信息收集、推理組合三個組件上融合了外部語義知識,提高了原有模型在少訓(xùn)練樣本情況下的泛化能力,取得了兩個標準數(shù)據(jù)集上的自然語言推理性能提升。
最后,研究了考慮語義分散力機制的篇章語義表征與自動文本摘要方法?,F(xiàn)有基于神經(jīng)網(wǎng)絡(luò)的自動文本摘要方法通常采用語句級的序列到序列模型,對于篇章全局的關(guān)注不足,這造成在處理長篇章時的摘要信息冗余問題。本文提出了基于循環(huán)神經(jīng)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于神經(jīng)網(wǎng)絡(luò)的自然語言語義表達及推理方法研究.pdf
- 基于神經(jīng)網(wǎng)絡(luò)的通用自然語言標注模型.pdf
- 基于遞歸神經(jīng)網(wǎng)絡(luò)的中文自然語言處理技術(shù)研究.pdf
- 基于自然語言處理的專利文檔自動語義標注方法研究.pdf
- 基于自然語言處理的專利文檔自動語義標注方法研究
- 基于語義網(wǎng)絡(luò)的類自然語言的知識獲取與轉(zhuǎn)換的研究.pdf
- 基于本體語義的自然語言水印技術(shù)研究.pdf
- 自然語言語音和諧實證研究.pdf
- 語言層先驗知識對若干自然語言處理任務(wù)中神經(jīng)網(wǎng)絡(luò)模型的影響研究.pdf
- 面向語義網(wǎng)的自然語言查詢接口研究.pdf
- 自然語言時間語義信息處理.pdf
- 自然語言機務(wù)信息中語義句式的研究.pdf
- 自然語言處理中相關(guān)語義技術(shù)的研究.pdf
- 走近自然語言理解:言語意圖分類研究.pdf
- 自然語言語音和諧實證研究_12744.pdf
- 基于自然語言理解的智能搜索方法研究.pdf
- 自然語言理解中的語義形式化研究.pdf
- 基于自然語言生成的關(guān)聯(lián)規(guī)則表示方法.pdf
- 基于神經(jīng)網(wǎng)絡(luò)語言模型的代碼分析方法研究.pdf
- 基于知識庫的自然語言問答方法研究.pdf
評論
0/150
提交評論