圖像檢索中的淺語義鴻溝詞庫構建方法研究.pdf

1、近年來,圖像檢索成為多媒體信息檢索領域的重要研究課題。“語義鴻溝”,即用戶從視覺數(shù)據(jù)中提取的信息和用戶自身對視覺數(shù)據(jù)的理解之間的不一致性,是圖像檢索中一個根深蒂固的問題。在基于語義的圖像檢索技術中,通過物體識別或者自動標注等建立有效語義概念模型都是為了縮短語義鴻溝。定義一個良好的語義概念庫是這些方法中數(shù)據(jù)搜集、模型建立的第一步也是極為關鍵的一步。語義概念所固有的語義鴻溝不盡相同,目前的信息處理與圖像理解方法還遠遠達不到提取圖像中抽象(深

2、層)語義的要求。更現(xiàn)實的途徑是設法找出那些計算機容易學習的具有較淺語義鴻溝的語義概念,這些語義概念更有助于概念檢測模型的訓練,繼而進行語義的識別及自動標注。因此,找出淺語義鴻溝詞庫對于基于語義的圖像檢索技術有著重要的意義,其涉及到兩個主要問題:1)如何定義淺語義鴻溝的“淺”,也就是說如何有效地衡量語義鴻溝?2)如何自動找出此類語義?
　　本課題所做的工作就是創(chuàng)新性地解決這兩個問題,最終構建淺語義鴻溝詞庫,該語義詞庫能在研究大規(guī)模圖

3、像檢索時的數(shù)據(jù)搜集、特征選擇、構建檢索模型、圖像標注等方面提供有用的建議。
　　本文首先闡述了構建淺語義鴻溝詞庫的基本框架:1)對240萬幅互聯(lián)網(wǎng)圖像提取語義文本特征以及多種低層視覺特征,分別建立有效索引。2)在不同的語義鴻溝模型下,對每一幅圖片計算其視覺-文本置信度,也就是衡量該圖像及其近鄰在視覺特征空間和文本特征空間下兩種分布的一致性。3)利用仿射傳播聚類算法對具有最高視覺-文本置信度的圖像進行聚類。4)從聚類結果中進行基于文

4、本內(nèi)容的字詞提取工作,相關度最高的字詞則是最具有淺語義鴻溝的語義概念。針對不同視覺空間下語義鴻溝不同的情況,本文從多個低層視覺空間出發(fā),分別基于顏色特征、紋理特征以及顏色紋理綜合特征,構建了對應的淺語義鴻溝詞表。比較分析其異同點,得到基于視覺特征的淺語義鴻溝詞庫,它能為圖像檢索中語義概念的特征選擇提供有效的建議。針對圖像在視覺空間和文本空間的分布不一致性,本文提出了兩種對偶的語義鴻溝模型——文本擴散模型和視覺擴散模型。從本質(zhì)上來說,兩種

5、語義鴻溝模型分別對應于基于視覺內(nèi)容的檢索方式和基于文本內(nèi)容的檢索方式。綜合由兩種模型得到的淺語義鴻溝詞庫能為語義概念選擇合適的檢索方式,并能應用于圖像標注的優(yōu)化。本文提出了采用仿射傳播聚類算法解決大規(guī)模圖像聚類問題。該聚類算法有四大優(yōu)點:1)無需事先確定聚類的類別數(shù)。2)要求的輸入是相似性矩陣。對于需要同時考慮視覺和文本兩重相似性的圖像聚類來說,利用相似性矩陣比利用高維數(shù)據(jù)點更合理有效。3)亦適用于兩圖像間相似性不對稱的情況。4)能有效