基于互聯(lián)網數(shù)據(jù)集的圖像標注技術研究.pdf

1、隨著數(shù)碼設備的日益普及以及互聯(lián)網技術的迅速發(fā)展，Web圖像資源越來越豐富。但由于Web數(shù)據(jù)具有多樣性、復雜性和無規(guī)則性等特點，如何快速、準確地從海量Web資源中查找用戶感興趣的圖像成為一項非常具有挑戰(zhàn)性的任務。解決這一問題的重要途徑就是通過對互聯(lián)網圖像進行自動圖像標注，建立圖像底層視覺內容與高層語義之間的聯(lián)系，并利用標注詞對圖像進行索引。近年來，以Flickr為代表的圖片共享社區(qū)的興起與繁榮也讓圖像標注在Web2.0環(huán)境下被賦予了新的生

2、命。此外，自動圖像標注在家庭影集的管理、醫(yī)學圖像檢索、商標檢索和人臉識別等方面都有著廣泛的應用。 由于圖像數(shù)量的巨大，依靠手工對圖像進行標注費用昂貴，已經不能滿足實際的需要。從標注使用的訓練集來看，自動圖像標注技術經歷了兩個階段：第一個階段可以看成是在有限數(shù)據(jù)集上的圖像標注，利用一些傳統(tǒng)的機器學習、物體識別的方法建立圖像底層特征和高層語義的聯(lián)系，如基于分類器的方法、基于跨媒體相關的方法、基于翻譯模型的方法以及基于隱變量的生成式模

3、型方法等；第二個階段是基于互聯(lián)網數(shù)據(jù)集的圖像標注方法，這種方法更多的是從標注的框架和效率入手，充分利用了互聯(lián)網的豐富資源，大大拓展了訓練集的范圍，因而更符合互聯(lián)網環(huán)境下圖像標注的實際需要，也是近年來圖像標注研究的熱點。 本文主要對基于互聯(lián)網數(shù)據(jù)集的圖像標注中的一些關鍵問題進行研究，主要成果和創(chuàng)新之處包括以下幾個方面： 討論了構建互聯(lián)網標注詞詞典的重要性，研究了如何從浩如煙海的互聯(lián)網詞匯中選擇合適的標注詞集合，并分析了詞典

4、中詞語需要滿足的條件。論文根據(jù)圖片共享社區(qū)中詞語的統(tǒng)計特性，提出了一種基于隨機游走的標注詞重要性建模方法，詞語的重要性是根據(jù)用戶的歷史標注情況以及詞語之間的相互關系衡量的，然后根據(jù)詞語的重要性排序構建標注詞詞典。此外，還根據(jù)圖片共享社區(qū)提供的標注詞的豐富的語義資源，對帶有初 始關鍵詞的互聯(lián)網圖像標注進行語義消歧，通過尋找待標注圖像在圖像共享社區(qū)中的合適的語義類，減少“語義鴻溝”的影響，使最后學習出的標注詞語義更加一致。

5、提出利用多模態(tài)相互加強原理進行圖像標注。首先給定單幅圖像，利用基本圖像標注模型得到初始標注詞，然后在基于隨機游走的圖像標注優(yōu)化框架的基礎上，通過標注詞相關圖和圖像內容相關圖之間相互加強原理，利用穩(wěn)定狀態(tài)下的新的相關性進行優(yōu)化，可以更好地保證圖像內容和最終標注詞之間的關聯(lián)，同時也保持了標注詞的語義一致性。由于互聯(lián)網圖像所在網頁的文本提供了豐富的語義信息，我們提出利用網頁文檔之間相似性與正文中命名實體的相互加強原理，更好地表示了網頁文檔之間

6、的相似性。 提出了一種基于互聯(lián)網數(shù)據(jù)集的家庭影集聯(lián)合標注框架。與單幅圖像標注問題不同，我們考慮了利用影集內圖像的相關性對多幅圖像進行聯(lián)合標注。首先對家庭影集中的圖像進行聚類，然后從互聯(lián)網數(shù)據(jù)中學習圖像簇的初始標注詞，再將初始標注結果輸入半監(jiān)督學習框架中進行后續(xù)處理，這里的半監(jiān)督學習框架同時考慮了視覺內容相關性、標注詞相關性以及時間相關性等。 提出了一種基于跨媒體相關的個性化圖像標注詞推薦模型P-DCMRM。該模型綜合考慮