基于CCA子空間的自動(dòng)圖像標(biāo)注與應(yīng)用研究.pdf

1、自動(dòng)圖像標(biāo)注(AIA)是圖像檢索領(lǐng)域中一個(gè)十分重要的研究工作。自從AIA技術(shù)誕生以來(lái)，人們對(duì)其的研究就從未終止。對(duì)于如何獲取有效的描述圖像語(yǔ)義信息的圖像特征，以及如何構(gòu)建有效的標(biāo)注模型，還有如何對(duì)已經(jīng)標(biāo)注出的圖像候選標(biāo)注詞進(jìn)行優(yōu)化。這些對(duì)于解決圖像標(biāo)注中的“語(yǔ)義鴻溝”問(wèn)題是十分重要的。有效的標(biāo)注模型或方法的構(gòu)建，對(duì)于改進(jìn)AIA的性能與效率會(huì)起到很重要的作用。
　　 (1)研究了依據(jù)典型相關(guān)分析(CCA)組合顏色與紋理特征的方法。

2、該策略首要考慮的問(wèn)題是圖像特征的提取。通過(guò)對(duì)比現(xiàn)有特征信息的優(yōu)劣不同，選取顏色與LBP紋理算子，作為要進(jìn)行融合的特征參數(shù)。憑借CCA在這方面的優(yōu)勢(shì)，獲得了優(yōu)良的表達(dá)視覺(jué)語(yǔ)義的信息。該方法解決了圖像特征經(jīng)常不能有效的描述圖像的語(yǔ)義信息的問(wèn)題。對(duì)于提高圖像的檢索與標(biāo)注效率，起到了很重要的促進(jìn)作用。同時(shí)該特征也是用來(lái)為后續(xù)內(nèi)容的圖像標(biāo)注做基礎(chǔ)的。本文進(jìn)行自動(dòng)圖像標(biāo)注所使用的圖像特征就是通過(guò)該方法得來(lái)的。通過(guò)實(shí)驗(yàn)驗(yàn)證，也證明了此種特征的有效性。

3、
　　 (2)為了提高自動(dòng)圖像標(biāo)注精度，利用CCA技術(shù)，結(jié)合高斯混合模型(GMM)模型，研究了一種基于CCA和GMM的自動(dòng)圖像標(biāo)注算法。該算法借助于CCA對(duì)選取圖像的兩種全局圖像參數(shù)進(jìn)行處理，減除了因單種特征描述圖像的不足。還避免了由不完美的分割算法帶來(lái)的表達(dá)語(yǔ)義不清錯(cuò)誤。使用此新的特征來(lái)標(biāo)注圖像。利用GMM來(lái)估計(jì)圖像特征與標(biāo)注詞的聯(lián)合概率密度，得到其概率分布，構(gòu)筑標(biāo)注模型。在Coral5k圖像集上進(jìn)行驗(yàn)證，表明了此方法對(duì)于圖像

4、標(biāo)注，性能上有了提高。
　　 (3)利用圖像特征和標(biāo)注詞特征之間的關(guān)系，將這兩種特征進(jìn)行CCA融合，形成了一個(gè)結(jié)合CCA的標(biāo)注與優(yōu)化策略。該方法使用圖像的局部特征，同時(shí)考慮到了圖像的低層特征與標(biāo)注詞特征之間的相關(guān)性。利用典型相關(guān)分析(CCA)來(lái)探究這種關(guān)系，得到了CCA子空間特征，這是兩種特征之間最有用的信息。為了使得圖像的特征所在空間一致，將待標(biāo)注圖像局部參數(shù)信息通過(guò)CCA典型變量投影到與訓(xùn)練集CCA特征一致的空間。使用該特征

5、，結(jié)合GMM模型，和貝葉斯分類器來(lái)構(gòu)筑標(biāo)注模型。同時(shí)對(duì)于計(jì)算出的候選詞組，根據(jù)詞組之間的相似關(guān)系，執(zhí)行標(biāo)注優(yōu)化。該方法在低層圖像特征與高層的圖像語(yǔ)義之間構(gòu)建了一個(gè)非常有用的“橋梁”。為了測(cè)試該方法的有效性，在JMLR2003圖像集上，進(jìn)行了驗(yàn)證，實(shí)驗(yàn)表明，以查準(zhǔn)率、查全率為評(píng)價(jià)標(biāo)準(zhǔn)，該方法使得圖像的標(biāo)注性能有了很大的提高。
　　 (4)將圖譜的理論引入AIA中，借助圖論的知識(shí)來(lái)改進(jìn)標(biāo)注的性能，研究了基于K-調(diào)和均值譜聚類算法(K

6、HMSC)的自動(dòng)圖像標(biāo)注算法。在K-均值的基礎(chǔ)上，加入了調(diào)和概念，結(jié)合譜聚類的知識(shí)形成KHMSC算法。最主要的是，該算法通過(guò)二次聚類，得到用來(lái)表示圖像語(yǔ)義的區(qū)域語(yǔ)義塊。首先，在詞組向量空間利用KHMSC聚類，形成n個(gè)語(yǔ)義類概念。而后，在每一個(gè)類所在的圖像特征空間內(nèi)執(zhí)行第二次聚類，相似的特征就會(huì)被聚集到一起，這樣就形成了k個(gè)語(yǔ)義塊。使用Davies-Bouldin指數(shù)來(lái)確定最優(yōu)的語(yǔ)義塊數(shù)目。該方法使用的特征也是通過(guò)CCA來(lái)進(jìn)行提取的。這些

7、語(yǔ)義塊與詞間的概率就是該方法所需要求取的統(tǒng)計(jì)變量信息。使用多重伯努利模型來(lái)估計(jì)此分布信息。最后利用樸素貝葉斯模型來(lái)得到標(biāo)注詞與測(cè)試圖像的聯(lián)合概率分布，構(gòu)筑此標(biāo)注模型。將概率分布最大的前R個(gè)標(biāo)注詞作為最后的圖像標(biāo)注詞組。同樣，我們?cè)贘MLR2003圖像集上，驗(yàn)證了此圖像標(biāo)注算法的性能，證明該方法對(duì)構(gòu)建圖像低層特征與高層語(yǔ)義之間的一致性信息是有用的。
　　 典型相關(guān)分析對(duì)于研究圖像的不同視覺(jué)特征之間的關(guān)系是非常重要的。利用這個(gè)性質(zhì)來(lái)