線聯(lián)網(wǎng)圖像高效標(biāo)注和解譯的關(guān)鍵技術(shù)研究.pdf

1、作為支持互聯(lián)網(wǎng)大規(guī)模圖像檢索的一種有效和實(shí)用方法，互聯(lián)網(wǎng)圖像自動標(biāo)注和理解已成為學(xué)術(shù)界和產(chǎn)業(yè)界的熱點(diǎn)問題而被深入研究。本文研究了圖像視覺內(nèi)容與伴隨文本語義之間的潛在關(guān)聯(lián)關(guān)系挖掘、圖像解譯、大規(guī)模數(shù)據(jù)聚類以及圖像視覺特征深度學(xué)習(xí)等關(guān)鍵性問題。論文的主要工作有：
　　 一、提出了一種基于數(shù)據(jù)驅(qū)動的互聯(lián)網(wǎng)圖像自動標(biāo)注和理解框架(AutomaticWeb Image Annotation and Interpretation，AWIAI

2、)。在圖像自動標(biāo)注過程中，AWIAI框架先計算圖像伴隨文本中單詞可見度屬性來構(gòu)建“圖像-單詞”關(guān)系矩陣，然后對該關(guān)系矩陣進(jìn)行隱性文法分析以擴(kuò)展備選標(biāo)注單詞，最后通過圖像視覺內(nèi)容的無監(jiān)督學(xué)習(xí)和對單詞兩兩共生關(guān)系進(jìn)行分析和排序，得到圖像標(biāo)注最終結(jié)果。
　　 二、在圖像自動標(biāo)注結(jié)果的基礎(chǔ)上，提出了圖像解譯的概念和具體實(shí)現(xiàn)方法?，F(xiàn)有圖像自動標(biāo)注方法未能對標(biāo)注單詞之間存在的語法關(guān)系進(jìn)行分析，因此得到的圖像標(biāo)注結(jié)果是若干離散單詞，難以對圖像

3、所蘊(yùn)含豐富語義進(jìn)行自然語言的深層次描繪(如對圖像產(chǎn)生“熊貓吃竹子”的分析結(jié)果)。該方法在AWIAI框架下得到圖像標(biāo)注單詞后，分析標(biāo)注單詞之間的語句關(guān)系，產(chǎn)生句法群組，以自然語言方式對目標(biāo)圖像內(nèi)容進(jìn)行解譯。
　　 三、對存在致密相似度關(guān)系的大規(guī)模數(shù)據(jù)，本文針對性提出了兩種改進(jìn)的近鄰傳播聚類的方法，即在聚類過程中通過局部信息傳遞來加快整體信息傳遞速度的方法，以及通過對局部采樣數(shù)據(jù)進(jìn)行信息傳遞，再將其它數(shù)據(jù)內(nèi)嵌進(jìn)去從而得到快速全局近似

4、結(jié)果的方法。AWIM框架以數(shù)據(jù)驅(qū)動為核心進(jìn)行圖像智能處理，因此需要解決大規(guī)模數(shù)據(jù)高效聚類這一難點(diǎn)問題。
　　 四、在AWIM的圖像理解過程中，本文提出了一種結(jié)合模型和數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)方法(Deep Model-based and Data-drvien，DMD)來提取圖像理解中最具區(qū)別性的視覺特征。近來神經(jīng)科學(xué)理論研究成果認(rèn)為大腦對外界視覺信息感知是一個逐層學(xué)習(xí)過程。DMD方法通過一個從簡單到復(fù)雜的深度學(xué)習(xí)流程來提取圖像視覺特