圖像及視頻語(yǔ)義解析的關(guān)鍵技術(shù)研究.pdf

1、基于內(nèi)容的圖像理解和視頻解析是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)基本問(wèn)題，與多媒體計(jì)算、人工智能、自動(dòng)控制等領(lǐng)域緊密相關(guān)。其中，圖像相關(guān)的經(jīng)典任務(wù)有圖像分類(lèi)、圖像區(qū)域分割、人臉識(shí)別和圖像關(guān)鍵詞標(biāo)注等，視頻相關(guān)的任務(wù)包括目標(biāo)識(shí)別、目標(biāo)跟蹤和目標(biāo)分割等。一般來(lái)說(shuō)，一個(gè)好的計(jì)算機(jī)視覺(jué)算法需要具備有效的表達(dá)模型、一致的理論基礎(chǔ)，以及高效的推理計(jì)算方法。盡管過(guò)去的文獻(xiàn)提出了大量理論與算法，但由于語(yǔ)義鴻溝的存在和數(shù)據(jù)的復(fù)雜性，上述問(wèn)題仍然存在著巨大的挑戰(zhàn)。因此，

2、需要針對(duì)具體的應(yīng)用進(jìn)一步擴(kuò)展與增強(qiáng)現(xiàn)有的模型、理論和算法，并在公開(kāi)的數(shù)據(jù)集上評(píng)測(cè)其性能。這些研究按照其理論基礎(chǔ)不同，可以歸納為以下三個(gè)方面。
　　首先，基于子空間學(xué)習(xí)理論，提出了非負(fù)圖一致算法的統(tǒng)一解，并從數(shù)學(xué)上證明了它的正確性與收斂性。子空間學(xué)習(xí)是機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)中的重要理論和學(xué)習(xí)工具，而圖結(jié)構(gòu)是圖像與視頻算法中最常用的表達(dá)。圖一致理論表明，現(xiàn)有的大多數(shù)子空間學(xué)習(xí)算法均可以歸納為以圖結(jié)構(gòu)作為表達(dá)的統(tǒng)一形式，而將圖一致理論擴(kuò)展

3、到非負(fù)分析框架中，可進(jìn)一步地增強(qiáng)子空間的判別能力。新提出的優(yōu)化過(guò)程基于更新迭代式，可用作統(tǒng)一的解平臺(tái)，求解大多數(shù)現(xiàn)有的非負(fù)數(shù)據(jù)分解間題?；诜秦?fù)圖一致理論與相關(guān)的解平臺(tái)，進(jìn)一步提出了三個(gè)新的算法，包括：1）基于映射轉(zhuǎn)換的非負(fù)分解算法，用于高效地求解新的測(cè)試樣本在新的子空間中的低維表達(dá)；2）非負(fù)關(guān)聯(lián)同分解算法，首次將非負(fù)分析、矩陣分解與多特征學(xué)習(xí)整合起來(lái)，為計(jì)算機(jī)視覺(jué)問(wèn)題提供了一種強(qiáng)有力的多模學(xué)習(xí)算法；3）基于非負(fù)分解的圖像標(biāo)注修復(fù)算法，

4、在非負(fù)框架下研究圖像標(biāo)注的修復(fù)問(wèn)題。在多個(gè)基準(zhǔn)測(cè)試平臺(tái)上的對(duì)比結(jié)果表明，這些算法可以達(dá)到甚至超過(guò)現(xiàn)有最優(yōu)的算法。
　　其次，擴(kuò)展稀疏編碼理論并將其應(yīng)用于高層圖像任務(wù)。稀疏編碼是信號(hào)處理與計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)基礎(chǔ)理論，具有完備的理論分析，但大多層視覺(jué)或者樣本結(jié)構(gòu)比較清晰的任務(wù)。為了處理更復(fù)雜的圖像任務(wù)，需要引入帶有結(jié)構(gòu)的先驗(yàn)?zāi)Ｐ?。具體地，為了高效地標(biāo)注圖像的語(yǔ)義區(qū)域，提出了一種新的雙層稀疏編碼先驗(yàn)和一個(gè)雙向標(biāo)簽傳播算法；為了充分利用

5、互聯(lián)網(wǎng)上的大規(guī)模在線圖像庫(kù)，提出一種基于雙層稀疏編碼的圖像標(biāo)注算法；為了有效地利用樣本的自然屬性，提出一種新的正值互斥正則化項(xiàng)，為稀疏編碼算法引入正值互斥先驗(yàn)，可用于多類(lèi)的半監(jiān)督分類(lèi)任務(wù)。在各自的公共數(shù)據(jù)集上的對(duì)比測(cè)試表明，這些新的理論與算法都超出了現(xiàn)有的最優(yōu)算法。
　　第三方面是關(guān)于貝葉斯概率模型與采樣推理的研究，處理包括軌跡跟蹤、目標(biāo)定位和分類(lèi)等在內(nèi)的視頻解析任務(wù)。主要的創(chuàng)新性貢獻(xiàn)包括：在視頻表達(dá)方面，提出了一種基于時(shí)空?qǐng)D的視