圖像的語義信息提取與分類方法研究.pdf

1、圖像語義信息提取與分類是計算機視覺領(lǐng)域的關(guān)鍵課題。隨著數(shù)字媒體應(yīng)用的不斷發(fā)展，從復(fù)雜的多媒體數(shù)據(jù)中獲取語義信息，實現(xiàn)圖像內(nèi)容的有效理解變得日趨重要。在過去數(shù)年中，眾多研究工作在視覺特征描述、對象模型構(gòu)建及強監(jiān)督學(xué)習(xí)等核心方面取得了一定進步。然而，由于公認(rèn)存在的語義鴻溝問題，現(xiàn)有方法依舊在語義模型學(xué)習(xí)、關(guān)聯(lián)信息分析、弱監(jiān)督學(xué)習(xí)及判別性特征構(gòu)建等關(guān)鍵問題上進展緩慢。針對上述亟待解決的問題，本文開展了圖像語義信息提取與分類方法的研究。

2、　　第一，傳統(tǒng)超像素方法難以獲取圖像局部區(qū)域語義內(nèi)容，以及存在復(fù)雜參數(shù)調(diào)節(jié)的缺陷。針對該問題，提出了一種基于判別性稀疏表示的語義超像素提取方法。該方法引入信號稀疏重構(gòu)模型，轉(zhuǎn)化圖像語義超像素的提取為圖像分解問題。方法中將基于表示系數(shù)的判別性正則化項、稀疏模型中的數(shù)據(jù)重構(gòu)項及表示系數(shù)稀疏性約束統(tǒng)一到單一目標(biāo)函數(shù)，并實現(xiàn)了聯(lián)合優(yōu)化求解。提出方法一方面增強了圖像局部區(qū)域的語義性。另一方面，也能避免繁瑣的算法參數(shù)調(diào)節(jié)過程。該方法在對象語義模型構(gòu)

3、建方面拓展了現(xiàn)有超像素提取算法。
　　第二，針對單幅圖像語義信息匱乏的問題，進一步對圖像局部區(qū)域語義信息提取方法進行研究，提出了一種利用多幅圖像間關(guān)聯(lián)約束的協(xié)同語義超像素生成方法。該方法挖掘多幅圖像具有一致性的對象共現(xiàn)信息，以引導(dǎo)圖像局部語義區(qū)域的提取。方法中提出了一種基于圖匹配代價及鄰接超像素外觀相似性的區(qū)域融合準(zhǔn)則，以通過引入圖匹配理論解決圖像超像素的匹配問題，最終有效提取圖像局部區(qū)域語義信息。該方法一方面擴展了現(xiàn)有基于圖像局

4、部興趣點的圖匹配模型。另一方面，也為當(dāng)前圖像局部區(qū)域語義信息的獲取提供了一種新思路。
　　第三，依據(jù)上述圖像局部區(qū)域語義信息的提取方法，進一步研究圖像對象區(qū)域語義信息的獲取問題。針對單一圖像語義信息不足的限制，提出基于多幅圖像的對象區(qū)域語義信息提取方法。該方法利用同類別語義對象具有的外觀一致性，引入多幅圖像間對象信息的關(guān)聯(lián)約束，以轉(zhuǎn)化語義對象的檢測為判別性特征子空間學(xué)習(xí)及窗口定位問題，最終提高了圖像對象區(qū)域語義信息的獲取能力。此外

5、，現(xiàn)有對象檢測算法利用已訓(xùn)練模型，存在僅能識別特定類別對象的局限性。針對該問題，研究了一種基于中高層對象知識及圖像底層視覺特征的對象性檢測方法。該方法提供了一種獲取圖像對象區(qū)域語義信息的新框架，并能適用于一般類別對象的檢測任務(wù)。
　　第四，針對基于強監(jiān)督對象檢測方法中，人工標(biāo)注信息匱乏的問題，文中利用不同類別對象部件幾何結(jié)構(gòu)的分享性，研究了一種基于弱標(biāo)注信息的語義部件學(xué)習(xí)方法。方法中利用判別性聚類算法，實現(xiàn)了不同對象類別具有分享能

6、力語義部件檢測器的挖掘。提出方法無需對象部件強監(jiān)督信息及能識別不同類別語義對象。該方法增強了對象檢測算法的適用性，并為進一步圖像的理解提供了更具語義信息的對象區(qū)域。
　　第五，依據(jù)上述圖像局部區(qū)域及對象區(qū)域語義信息提取方法的研究內(nèi)容，文中進一步對圖像整體語義信息的提取問題進行研究，最終解決圖像分類問題?，F(xiàn)有基于視覺字典學(xué)習(xí)的圖像分類方法中，由于均一地對待所有樣本數(shù)據(jù)，存在難以獲取判別性語義模式的不足。針對該問題，本文提出在特征子空

7、間學(xué)習(xí)過程中，挖掘代表性視覺樣本，以提高圖像特征的語義判別性。此外，提出一種基于小波變換的特征空間分解模型，實現(xiàn)了對判別性視覺元素的逐步挖掘，最終能增強圖像整體描述的語義性。該字典學(xué)習(xí)模型提供了一種獲取判別性語義模式的新方式。
　　第六，圖像整體語義描述在圖像分類問題中發(fā)揮著重要作用。然而，當(dāng)前基于視覺字典的圖像分類方法未探索字典單詞間的關(guān)聯(lián)性，因此削弱了視覺字典對圖像語義信息的描述能力。針對該問題，文中首先提出一種判別性類特定字

8、典學(xué)習(xí)模型，通過引入字典單詞的分享特性，建立了各字典單詞間的關(guān)聯(lián)。方法中將基于表示系數(shù)的一致性約束、系數(shù)組稀疏正則化項統(tǒng)一到單一目標(biāo)函數(shù)，并實現(xiàn)了聯(lián)合優(yōu)化求解，最終能有效挖掘具有共現(xiàn)能力的字典單詞。為進一步探索字典單詞間的關(guān)聯(lián)約束，本文提出一種基于過完備字典及緊致性字典學(xué)習(xí)的優(yōu)化模型。該模型通過嵌入的選擇矩陣，構(gòu)建了字典單詞間的約束關(guān)系。最終通過以上模型提取的視覺字典，能增強圖像特征的語義判別能力。該方法提供了一種挖掘字典單詞間關(guān)聯(lián)性的