基于深度神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的圖像問(wèn)答研究.pdf

1、圖像問(wèn)答是一個(gè)很有挑戰(zhàn)性的任務(wù)，它的目標(biāo)是把計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理聯(lián)系起來(lái)。在這個(gè)任務(wù)中，給定一張圖片和一個(gè)相關(guān)的問(wèn)題，我們要求機(jī)器能根據(jù)圖像內(nèi)容，再加上一些常識(shí)來(lái)推理得到問(wèn)題的答案。因此，為了完成圖像問(wèn)答這個(gè)任務(wù)，機(jī)器必須具有跨模態(tài)的理解能力（視覺(jué)和語(yǔ)言），而這一點(diǎn)比那些在單一模態(tài)下的任務(wù)（圖像識(shí)別，文檔分類(lèi)等）要求更高。
　　圖像問(wèn)答這個(gè)任務(wù)的意義體現(xiàn)在多個(gè)方面。首先，從計(jì)算機(jī)視覺(jué)這個(gè)研究領(lǐng)域看，為了讓機(jī)器能夠充分理解圖片的

2、內(nèi)容,繼圖片識(shí)別和描述這兩個(gè)任務(wù)之后，圖像問(wèn)答是一個(gè)很自然的后續(xù)，因?yàn)檫@個(gè)任務(wù)要求對(duì)圖像的內(nèi)容有更精細(xì)的理解。其次，從自然語(yǔ)言處理這個(gè)領(lǐng)域看，為了能夠真正理解人類(lèi)的語(yǔ)言，如何把語(yǔ)言對(duì)應(yīng)到視覺(jué)世界這一步是必不可少的。雖然計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理同屬人工智能的范疇，但是從歷史上看，這兩個(gè)領(lǐng)域的發(fā)展是分開(kāi)的。圖像問(wèn)答任務(wù)的提出表明這兩個(gè)領(lǐng)域逐漸開(kāi)始融合，而它們的融合是構(gòu)建真正的通用人工智能的必經(jīng)之路。
　　近幾年內(nèi)，圖像問(wèn)答發(fā)展迅速，受

3、到來(lái)自計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理領(lǐng)域的廣泛關(guān)注，提出了很多解決這項(xiàng)任務(wù)的方法。大多數(shù)方法采取了一個(gè)端到端的流程，用一個(gè)預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)提取圖片特征，用一個(gè)遞歸神經(jīng)網(wǎng)絡(luò)來(lái)表征問(wèn)題，然后把圖片特征和問(wèn)題特征連結(jié)起來(lái)預(yù)測(cè)答案。盡管這種端到端的方法的準(zhǔn)確率還行，但是整個(gè)圖像問(wèn)答的系統(tǒng)變成了一個(gè)黑箱，我們只知道輸入和輸出，卻不知道中間發(fā)生了什么。因此，我們首先提出把這種端到端的系統(tǒng)分解成兩步:解釋和推理，通過(guò)對(duì)中間結(jié)果的可視化來(lái)實(shí)現(xiàn)一個(gè)解釋性更

4、高的圖片問(wèn)答模型。我們的這個(gè)模型達(dá)到了目前最高的準(zhǔn)確率，并且具有一定程度的可解釋性。
　　此外，大多數(shù)圖片問(wèn)答的方法都致力于提高預(yù)測(cè)答案的準(zhǔn)確性，但是忽略了對(duì)答案的解釋。我們認(rèn)為，與答案本身相比，答案的解釋同樣甚至更加重要，因?yàn)樗箚?wèn)答過(guò)程更易于理解和跟蹤。為此，我們提出了“帶解釋的圖像問(wèn)答”的新任務(wù)，其中模型不僅需要預(yù)測(cè)問(wèn)題的答案，同時(shí)也解釋所預(yù)測(cè)的答案。我們首先構(gòu)造一個(gè)新的數(shù)據(jù)集，然后在多任務(wù)學(xué)習(xí)架構(gòu)中解決帶解釋的圖像問(wèn)答問(wèn)題