融合標(biāo)注詞相關(guān)性信息的圖像語義標(biāo)注研究.pdf

1、隨著高分辨率數(shù)碼設(shè)備和海量存儲(chǔ)系統(tǒng)的普及以及網(wǎng)絡(luò)傳輸帶寬的增加,圖像數(shù)據(jù)正以指數(shù)級(jí)的速度增長(zhǎng)。如何有效管理如此大規(guī)模的海量圖像數(shù)據(jù)庫(kù),以便用戶可以快速而有效地找到他們感興趣的圖片是一項(xiàng)極具挑戰(zhàn)的任務(wù)。由于語義鴻溝的存在,傳統(tǒng)的基于內(nèi)容的圖像檢索技術(shù)(Content-basedImageRetrieval,CBIR)往往不能很好地滿足圖像語義檢索的要求,同時(shí)普通用戶也無法將自己的檢索需求以CBIR系統(tǒng)中底層視覺特征的形式表達(dá)出來。為了實(shí)現(xiàn)

2、有效的圖像語義檢索,同時(shí)提供用戶友好的文本檢索接口,對(duì)圖像進(jìn)行人工標(biāo)注是一種可行的方法。然而,由于人工標(biāo)注過程費(fèi)時(shí)費(fèi)力而且極易出錯(cuò),面對(duì)海量圖像數(shù)據(jù),完全地人工標(biāo)注無法成為現(xiàn)實(shí)。人們迫切需要一種可以自動(dòng)或者半自動(dòng)對(duì)圖像進(jìn)行語義標(biāo)注的方法。因此,圖像語義標(biāo)注(ImageSemanticAnnotation)具有十分重要的理論與實(shí)踐意義,引起了學(xué)術(shù)界和工業(yè)界的高度關(guān)注。
　　 傳統(tǒng)的基于內(nèi)容的圖像語義標(biāo)注模型往往僅僅依靠圖像本身的視

3、覺內(nèi)容來完成標(biāo)注任務(wù),而忽略了標(biāo)注過程中標(biāo)注詞之間的相關(guān)性信息,其標(biāo)注性能仍有待進(jìn)一步提高。此外,隨著Web2.0時(shí)代的到來,越來越多的Web圖片被用戶用語義標(biāo)簽進(jìn)行在線標(biāo)注,這些大量標(biāo)注過的圖片同時(shí)也為開發(fā)新的自動(dòng)標(biāo)注工具提供了新的機(jī)遇。
　　 本文圍繞圖像語義標(biāo)注和在線標(biāo)注的特點(diǎn),集中利用標(biāo)注詞之間的相關(guān)性信息,對(duì)如何將標(biāo)注詞相關(guān)性信息整合到標(biāo)注過程中、如何實(shí)現(xiàn)內(nèi)容無關(guān)的標(biāo)注詞推薦以及如何更有效地利用用戶標(biāo)注詞和圖像視覺內(nèi)容

4、為圖像語義標(biāo)注服務(wù)三方面展開研究,提出了三種不同的圖像語義標(biāo)注方法,如下所示:
　　 ·提出基于語義概念上下文的漸進(jìn)式圖像自動(dòng)標(biāo)注方法:同時(shí)利用語義概念的上下文信息和圖像的視覺信息來對(duì)圖片進(jìn)行自動(dòng)語義標(biāo)注。在這個(gè)漸進(jìn)式的標(biāo)注框架中,標(biāo)注以增量式的方式一個(gè)接著一個(gè)地加入到圖片的標(biāo)注詞集合中,每一次標(biāo)注詞的選擇不僅僅取決于當(dāng)前給定圖像的視覺信息,還取決于以前已經(jīng)加入到標(biāo)注詞列表中的已有標(biāo)注詞。換句話說,標(biāo)注詞的選取是利用圖像視覺內(nèi)容

5、,并基于改圖片已有的標(biāo)注詞集合這個(gè)上下文信息的,實(shí)現(xiàn)了以較小的計(jì)算代價(jià)將標(biāo)注詞之間的上下文信息融入到基于內(nèi)容的標(biāo)注系統(tǒng)中的目的。
　　 ·提出基于協(xié)同過濾的標(biāo)注詞推薦方法:將協(xié)同過濾(CollaborativeFiltering)技術(shù)應(yīng)用于標(biāo)注詞推薦。協(xié)同標(biāo)注詞推薦(CollaborativeTagRecommendation,CTR)方法是不依賴于圖像視覺信息的標(biāo)注詞推薦方法,僅僅利用圖像當(dāng)前已有的少量用戶標(biāo)注來實(shí)現(xiàn)為圖像推薦

6、更多的相關(guān)標(biāo)注詞的功能。協(xié)同過濾技術(shù)被用來發(fā)掘標(biāo)注詞之間的關(guān)聯(lián)模式,并利用這種關(guān)聯(lián)信息產(chǎn)生標(biāo)注詞推薦列表。
　　 ·提出基于內(nèi)容和標(biāo)注詞輔助信息的圖像標(biāo)注方法:把圖像語義標(biāo)注看作是一個(gè)標(biāo)注詞推薦問題,將圖片已有的少量用戶標(biāo)注詞和圖像的視覺內(nèi)容通過一個(gè)概率模型HPM(HybridProbabilisticModel)融合在一起,從而實(shí)現(xiàn)圖像的語義標(biāo)注功能。對(duì)于沒有用戶標(biāo)注詞的圖像,HPM僅僅根據(jù)圖像的視覺內(nèi)容信息預(yù)測(cè)標(biāo)注詞。對(duì)于具