基于圖像標(biāo)注的圖像內(nèi)容文字描述生成.pdf

1、隨著數(shù)碼攝影設(shè)備和互聯(lián)網(wǎng)的飛速發(fā)展,隨著手機(jī)和平板電腦等移動(dòng)設(shè)備技術(shù)的不斷進(jìn)步,越來(lái)越多的圖像、視頻等超文本媒體信息不斷涌入人們的視野并且持續(xù)傳播擴(kuò)散。面對(duì)如此大規(guī)模的圖像數(shù)據(jù),如何有效的進(jìn)行管理、組織和檢索,已經(jīng)成為學(xué)術(shù)界和工業(yè)界面臨的重要問(wèn)題。
　　本文主要研究的是用自然語(yǔ)言的詞語(yǔ)或者長(zhǎng)文本對(duì)純圖像進(jìn)行標(biāo)注或者描述。這是一種解決圖像理解和圖像檢索中語(yǔ)義鴻溝的策略,最終目標(biāo)是對(duì)于一幅圖像,能夠用關(guān)鍵詞、句子甚至文本片段來(lái)進(jìn)行描述

2、。
　　將復(fù)雜的圖像特征表述問(wèn)題轉(zhuǎn)化為簡(jiǎn)單的語(yǔ)言描述問(wèn)題的研究有比較長(zhǎng)的歷史,但如今仍有很大的發(fā)展空間。使用圖割的方法分割靜態(tài)風(fēng)景圖像并且標(biāo)注出關(guān)鍵字便是本文已有的工作基礎(chǔ)。然而在研究靜態(tài)圖像中動(dòng)作識(shí)別和檢索的過(guò)程中,如果能夠?qū)D像進(jìn)行高層復(fù)雜語(yǔ)義的標(biāo)注,例如用一句話或者一段文字描述圖像中的語(yǔ)義信息,將會(huì)是十分有意義的工作,這能夠進(jìn)一步提高圖像語(yǔ)義標(biāo)注的完整性,比單純關(guān)鍵詞和標(biāo)簽的標(biāo)注含有更加豐富的信息。本文提出了一個(gè)簡(jiǎn)單的方法針

3、對(duì)靜態(tài)風(fēng)景圖像進(jìn)行描述其關(guān)鍵標(biāo)注物體的相對(duì)位置關(guān)系的語(yǔ)句的自動(dòng)生成,生成的句子的主要成分包含主語(yǔ)、謂語(yǔ)和賓語(yǔ),謂語(yǔ)是描述相對(duì)位置關(guān)系的介詞或介詞詞組。
　　本文的主要工作包括:第一,提出了一種模型,生成以基于圖像內(nèi)容的注釋為基礎(chǔ)的句子,也就是由一個(gè)已標(biāo)注的靜態(tài)圖像生成句子。圖像已經(jīng)被分割為多個(gè)區(qū)域(使用圖像分割),每個(gè)區(qū)域的特征也被計(jì)算出來(lái)。給定一個(gè)已標(biāo)注的訓(xùn)練集圖像,我們首先通過(guò)解析圖像獲取其位置信息,然后,利用篩選收集的句集,

4、使用機(jī)器學(xué)習(xí)得到標(biāo)注和介詞之間的組合的概率,將獲取到的數(shù)據(jù)應(yīng)用到文本集中。我們使用一個(gè)標(biāo)準(zhǔn)的語(yǔ)義表示來(lái)表示圖像信息。最后由標(biāo)準(zhǔn)的語(yǔ)義報(bào)表根據(jù)語(yǔ)句模板產(chǎn)生自然語(yǔ)言。第二,對(duì)上述模型進(jìn)行改進(jìn)。通過(guò)優(yōu)化中間橋梁和添加檢索進(jìn)行定位方法部分的改進(jìn),通過(guò)引入第一區(qū)域和第二區(qū)域的概念實(shí)現(xiàn)語(yǔ)句生成部分的改進(jìn)。實(shí)現(xiàn)了子圖和其所帶的特征參數(shù)作為隱含的條件,而且對(duì)圖像內(nèi)容的理解更具有針對(duì)性。
　　由文中給出的實(shí)驗(yàn)可以看出,本方法的參數(shù)由子圖獲取而不是從