基于結(jié)構(gòu)化信息的圖像內(nèi)容分析與理解.pdf

1、隨著社會(huì)媒體的興起，海量的多媒體數(shù)據(jù)在互聯(lián)網(wǎng)上涌現(xiàn)。多媒體數(shù)據(jù)的快速增長給海量媒體數(shù)據(jù)的分析、理解和檢索帶來了巨大挑戰(zhàn)。挖掘媒體數(shù)據(jù)內(nèi)部蘊(yùn)含的豐富結(jié)構(gòu)信息將有助于揭示數(shù)據(jù)與數(shù)據(jù)間的相互關(guān)系，從而幫助人們更好的處理海量媒體數(shù)據(jù)，從容應(yīng)對(duì)這一挑戰(zhàn)。在本論文中，將進(jìn)一步對(duì)基于結(jié)構(gòu)化信息的圖像內(nèi)容分析和理解技術(shù)進(jìn)行深入研究。為此，擬從高中低三個(gè)層次入手，圍繞圖像分析和理解中的四個(gè)關(guān)鍵問題：場(chǎng)景中的目標(biāo)檢測(cè)、目標(biāo)物體的聚類、目標(biāo)物體的語義預(yù)測(cè)與理

2、解、以及基于目標(biāo)物體的圖像檢索和加密來開展工作。將首先挖掘高層語義間的結(jié)構(gòu)化信息，主要是指通過挖掘物體的類別、屬性等高層語義信息間存在的特定結(jié)構(gòu)來解決圖像檢索，物體檢測(cè)等問題。其次是挖掘中層圖像間的結(jié)構(gòu)化信息，主要是指探索多張非相關(guān)圖像間內(nèi)容上的耦合關(guān)系，以期獲得更好的圖像加密算法。最后是挖掘低層特征間的結(jié)構(gòu)化信息，主要是指在區(qū)域標(biāo)注，顯著性檢測(cè)等問題中加入圖像特征間的結(jié)構(gòu)化先驗(yàn)信息來提升相關(guān)算法的性能。具體而言，本論文的研究內(nèi)容和創(chuàng)新

3、點(diǎn)包括：
　　1）在挖掘高層語義結(jié)構(gòu)化信息方面，包括三個(gè)工作。第一個(gè)工作把圖像中物體的超類、類別、以及屬性信息以分層樹形結(jié)構(gòu)來組織，構(gòu)造一個(gè)樹形結(jié)構(gòu)的語義單元，并提出了基于結(jié)構(gòu)化支持向量機(jī)的預(yù)測(cè)模型，從而對(duì)未知物體的語義信息進(jìn)行結(jié)構(gòu)化的預(yù)測(cè)輸出，該工作解決了現(xiàn)存語義預(yù)測(cè)模型信息單一問題，有助于進(jìn)一步彌補(bǔ)圖像檢索中的語義鴻溝現(xiàn)象。在此基礎(chǔ)上，第二個(gè)工作在多個(gè)樹形結(jié)構(gòu)語義單元之間加入了物體間的空間信息，從而構(gòu)造一個(gè)帶葉子的三角形結(jié)構(gòu)來

4、對(duì)圖像進(jìn)行描述，并用此結(jié)構(gòu)解決結(jié)構(gòu)化圖像檢索問題。該工作豐富了當(dāng)前圖像檢索的輸入形式，有助于進(jìn)一步實(shí)現(xiàn)用戶的檢索意圖。第三個(gè)工作提出了一種基于物體類別、位置、尺度信息的高階上下文描述符，該描述符通過融合多個(gè)上下文源以及物體間的高階關(guān)系來判斷物體檢測(cè)算法輸出的候選物體是否符合圖片的上下文信息，從而濾除錯(cuò)誤檢測(cè)，保留正確檢測(cè)。該描述符首次把多源上下文信息和高階關(guān)系統(tǒng)一到一個(gè)理論框架中，有效提升了物體檢測(cè)的正確率。
　　2）在挖掘中層圖

5、像結(jié)構(gòu)化信息方面，認(rèn)為任意兩張或多張不相關(guān)圖像間存在耦合關(guān)系，并且是可以相互轉(zhuǎn)換的。為此，提出了一種基于耦合字典學(xué)習(xí)和壓縮感知技術(shù)的圖像重建算法。該算法在保證圖像質(zhì)量的前提下先對(duì)兩張或多張不相關(guān)圖像進(jìn)行編碼，之后給定任意一張編碼圖像，可對(duì)另外一張圖像進(jìn)行重建。該算法可用于解決圖像加密問題，與傳統(tǒng)的加密算法相比，提出的解決方法不需要在封面圖像中嵌入任何數(shù)據(jù)，可大大提高傳輸過程中秘密數(shù)據(jù)的安全性。
　　3）在挖掘低層特征結(jié)構(gòu)化信息方面

6、，也同樣包括三個(gè)工作。第一個(gè)工作使用張量表示人臉圖像，并提出了基于張量分析的魯棒人臉聚類算法。與傳統(tǒng)使用向量表示法相比，張量可以很好的保留人臉圖像中的結(jié)構(gòu)化信息。此外，該工作可有效濾除人臉圖像中存在的各種噪聲，相比傳統(tǒng)人臉聚類算法更加的魯棒。在第二個(gè)工作中，挖掘區(qū)域標(biāo)注過程中特征點(diǎn)、區(qū)域、圖像之間存在的樹形結(jié)構(gòu)關(guān)系，并融合此樹形關(guān)系進(jìn)結(jié)構(gòu)化稀疏表示理論框架中，有效的提升了區(qū)域標(biāo)注算法的準(zhǔn)確率。第三個(gè)工作挖掘顯著性檢測(cè)過程中圖像間的結(jié)構(gòu)化

7、信息，并結(jié)合D-S證據(jù)理論提出了結(jié)構(gòu)化的顯著性檢測(cè)算法。所提算法簡(jiǎn)單，有效，不需要訓(xùn)練過程。可作為后處理步驟提升現(xiàn)有顯著性檢測(cè)算法的性能。
　　在以上這些工作中，基于結(jié)構(gòu)化信息的顯著性區(qū)域檢測(cè)算法和基于多源信息的高階上下文描述符用于解決場(chǎng)景中的目標(biāo)檢測(cè)問題；基于張量分析的魯棒人臉聚類算法用于解決目標(biāo)物體的聚類問題；基于結(jié)構(gòu)化信息的語義標(biāo)注和基于樹形結(jié)構(gòu)的增廣圖像描述算法用于解決目標(biāo)物體的語義預(yù)測(cè)與理解問題；結(jié)構(gòu)化的圖像檢索和有意義