圖像的語義標(biāo)注及其改善問題研究.pdf

1、隨著數(shù)碼照相機、具有照相功能的手機等設(shè)備的迅速普及，數(shù)字圖像呈現(xiàn)出爆炸式地增長趨勢，而且隨著互聯(lián)網(wǎng)的飛速發(fā)展，越來越多的人能夠更加方便、快捷、經(jīng)濟地使用這些圖像數(shù)據(jù)。目前面臨的問題不再是缺少圖像數(shù)據(jù)資源，而是如何在浩如煙海的圖像數(shù)據(jù)中找到自己所需要的信息。如何對規(guī)模龐大的數(shù)字圖像進(jìn)行快速高效的檢索，成為亟待解決的問題?，F(xiàn)有的圖像檢索系統(tǒng)主要利用圖像的語義標(biāo)注詞進(jìn)行基于語義的圖像檢索，但是隨著圖像數(shù)量的激增，人()進(jìn)行圖像標(biāo)注顯然不現(xiàn)實。

2、因此，對圖像進(jìn)行自動語義標(biāo)注成為圖像檢索領(lǐng)域的重要問題，得到了學(xué)術(shù)界和企業(yè)界越來越多的關(guān)注。鑒于已有圖像標(biāo)注方法的標(biāo)注準(zhǔn)確性還未達(dá)到令人滿意的程度，因此如何對已標(biāo)注圖像進(jìn)行標(biāo)注結(jié)果的優(yōu)化與改善成為了圖像的語義標(biāo)注這一研究領(lǐng)域的重要問題之一。本文針對不同類型的圖像，提出了一系列有針對性的語義標(biāo)注以及語義標(biāo)注改善的方法，主要研究成果和創(chuàng)新點表現(xiàn)在以下五個方面：
　　 ⑴提出了一種基于LDA主題模型的圖像標(biāo)注方法。首先，利用圖像訓(xùn)練集

3、建立一個視覺詞袋模型，并利用LDA模型計算待標(biāo)注圖像和標(biāo)注詞詞典中各標(biāo)注詞之間的相關(guān)度，從而獲得圖像的初始標(biāo)注。接下來，提出一種基于搜索的標(biāo)注詞擴展方法，將初始標(biāo)注提交到圖像搜索引擎，從搜索引擎返回的結(jié)果中選取與待標(biāo)注圖像相似的圖像，進(jìn)而從這些相似圖像的周邊文本中獲取圖像的擴展標(biāo)注詞。最后，將初始標(biāo)注詞集合和擴展標(biāo)注詞集合進(jìn)行合并，獲得最終標(biāo)注。
　　 ⑵提出了一種面向社會網(wǎng)絡(luò)圖像共享社區(qū)的圖像標(biāo)注方法。該類網(wǎng)站允許用戶在上傳圖

4、像時為圖像提供標(biāo)簽，我們利用用戶提供的標(biāo)簽對圖像進(jìn)行語義標(biāo)注。首先，將待標(biāo)注圖像分割后的圖像區(qū)域作為樣例數(shù)據(jù)點，對用戶提供的標(biāo)簽進(jìn)行過濾后得到圖像的初始標(biāo)簽，并將其所對應(yīng)的圖像視覺特征作為待排序的數(shù)據(jù)點，利用流形排序算法對圖像的初始標(biāo)簽進(jìn)行排序。接下來，利用Flickr提供的API函數(shù)以及加權(quán)投票策略對排序位次高的初始標(biāo)簽進(jìn)行擴展，從而得到擴展標(biāo)簽。最后，將排序位次高的初始標(biāo)簽集合和擴展標(biāo)簽集合合并，得到圖像的最終標(biāo)灃。
　　

5、⑶提出了一種面向圖像共享社區(qū)中個人相冊的圖像標(biāo)注方法。首先，利用位置敏感哈希函數(shù)將圖像的SIFT描述符映射到哈希桶中，并將每個哈希桶看作直方圖的一個柱，把待標(biāo)注圖像轉(zhuǎn)化為直方圖，通過計算直方圖的距離得到兩幅圖像之間的視覺相似度，從而對個人相冊進(jìn)行去除重復(fù)圖像的處理。然后，利用圖像的視覺特征和圖像GPS坐標(biāo)構(gòu)造三分圖，通過對三分圖的劃分進(jìn)行個人相冊中圖像的聚類。將Core15K數(shù)據(jù)集作為訓(xùn)練集，建立視覺詞袋模型，為該數(shù)據(jù)集標(biāo)注詞詞典中的每

6、個標(biāo)注詞求出與之對應(yīng)的視覺詞語向量。對個人相冊聚類后得到的圖像簇，通過視覺詞袋模型求出圖像簇所對應(yīng)的視覺詞語向量，從訓(xùn)練集的標(biāo)注詞詞典中選擇與其相關(guān)度高的詞作為圖像簇的標(biāo)注。
　　 ⑷提出了一種基于二分圖增強學(xué)習(xí)算法以及概念本體推理的層次化Web圖像標(biāo)注方法。首先，從Web頁面中抽取圖像的初始標(biāo)注，通過概念本體對初始標(biāo)注進(jìn)行推理，將初始標(biāo)注和經(jīng)過概念本體推理得到的層次化擴展標(biāo)注作為圖的頂點，構(gòu)造二分圖。然后，通過二分圖增強學(xué)習(xí)算

7、法對初始標(biāo)注和擴展標(biāo)注進(jìn)行排序，并提出了一個標(biāo)注詞選擇策略，從排序后的初始標(biāo)注詞集和擴展標(biāo)注詞集中選取圖像的最終標(biāo)注詞。
　　 ⑸提出了一種基于圖劃分和圖像搜索引擎的圖像標(biāo)注改善算法。該算法通過對待標(biāo)注圖像的候選標(biāo)注詞進(jìn)行去噪處理，提高標(biāo)注的準(zhǔn)確性。算法的核心思想是將候選標(biāo)注詞作為圖的頂點，將標(biāo)注詞之間的相關(guān)度作為邊的權(quán)值，從而將圖像標(biāo)注改善問題轉(zhuǎn)換為圖劃分問題。我們用兩個參數(shù)對標(biāo)注詞間的相關(guān)度進(jìn)行加權(quán)處理后計算出邊的權(quán)值。第一