基于多距離學(xué)習(xí)的圖像語義自動標(biāo)注研究.pdf

1、隨著數(shù)碼攝像設(shè)備的普及和社交網(wǎng)絡(luò)的流行，每天有數(shù)以萬計的數(shù)字圖像被上傳到互聯(lián)網(wǎng)上并分享。正所謂一圖勝千言，海量圖像數(shù)據(jù)中蘊藏著豐富的信息資源有待我們?nèi)グl(fā)掘，而對這些圖像進行有效的管理和利用的前提是要對圖像進行語義標(biāo)注。但互聯(lián)網(wǎng)上大部分圖片本身不具有語義標(biāo)簽，有語義標(biāo)簽的圖片又存在著標(biāo)簽錯誤或者標(biāo)簽不完整等問題，加之人工圖像標(biāo)注代價較高、難以大規(guī)模使用，圖像語義自動標(biāo)注（Automatic Image Annotation，AIA）一直是

2、近十年來的熱門研究課題，引起了學(xué)術(shù)界、工業(yè)界的廣泛關(guān)注。
　　圖像標(biāo)注面臨的最大挑戰(zhàn)來自于高層語義和底層圖像視覺特征之間的不匹配，即所謂的“語義鴻溝”。近年來研究者們提出了很多方法嘗試跨越語義鴻溝，這些方法大致可以分為兩類:其中一類為視覺特征學(xué)習(xí)技術(shù)，主要關(guān)注多種圖像特征如何綜合使用;另一類方法是語義上下文建模技術(shù)，主要利用了高層語義概念之間的相關(guān)信息。相比之前的標(biāo)注模型，這兩類方法都在標(biāo)注效果上取得了較顯著的提高。如果能進一步將

3、兩者結(jié)合起來，圖像標(biāo)注準(zhǔn)確性應(yīng)該能得到進一步的提升，然而據(jù)我們所知，目前幾乎沒有工作嘗試整合這兩種方法。
　　本文提出了一個基于條件隨機場（Conditional Random Fields，CRF）的統(tǒng)一模型——“核條件隨機場（Kemelized Conditional Random Fields，KCRF）”模型，將稀疏多距離學(xué)習(xí)和語義上下文建模融合到一個框架中，在底層圖像特征學(xué)習(xí)和語義上下文建模之間建立了緊密的相互作用。具體

4、來講，CRF負責(zé)建模圖像語義上下文關(guān)系，在CRF的大框架下我們通過引入核Logistic回歸(KemelizedLogistic Regression，KLR)[17]實現(xiàn)了多視覺距離學(xué)習(xí)。我們分別為語義上下文參數(shù)和多距離學(xué)習(xí)參數(shù)使用L2正則化項和L1正則化項。語義上下文參數(shù)和多距離學(xué)習(xí)參數(shù)在統(tǒng)一的框架下同時學(xué)習(xí)得到。
　　我們在兩個公用數(shù)據(jù)集—— Corel5k和TRECVID2005——上進行了系統(tǒng)的實驗，驗證KCRF模型的標(biāo)

5、注性能。從實驗結(jié)果可以看出，KCRF模型比目前較先進的多特征學(xué)習(xí)、語義上下文建模等圖像標(biāo)注模型在標(biāo)注準(zhǔn)確度上有比較明顯的提高。實驗同時證明了KCRF的性能提升來自于上下文建模和多距離學(xué)習(xí)的結(jié)合，而非來自于單獨一種方法。另外，當(dāng)圖像特征的數(shù)量較多時，KCRF模型也表現(xiàn)得更加穩(wěn)定。
　　本文還基于較成熟、有效的上下文建模方法實現(xiàn)了一個具有交互功能的圖像語義自動標(biāo)注系統(tǒng)。該系統(tǒng)操作簡單，能夠?qū)τ脩羯蟼鞯膱D像實現(xiàn)批量式的有效的語義標(biāo)注，也