圖像視覺特征及其描述詞匯的對(duì)齊研究.pdf

1、目前，越來越多的應(yīng)用需要將視覺數(shù)據(jù)翻譯為自然語言。研究視覺信息與描述語言之間的關(guān)聯(lián)成為一個(gè)重要的課題。
　　 VIMAC系統(tǒng)是北京郵電大學(xué)智能科學(xué)與技術(shù)中心研制的一個(gè)基于視覺信息的漢語詞匯習(xí)得系統(tǒng)，該系統(tǒng)基于圖像一語言描述對(duì)集合，為語言詞匯建立基于視覺信息的表征，并能應(yīng)用于圖像描述的自動(dòng)生成。本論文的研究基于VIMAC系統(tǒng)的工作，一方面在VIMAC系統(tǒng)研究成果的基礎(chǔ)上展開，得到更細(xì)顆粒度的語言—視覺信息對(duì)，其中著重解決了在訓(xùn)練語

2、料中未出現(xiàn)的未登錄詞的圖像特征表示；另一方面又為VIMAC系統(tǒng)的改進(jìn)提供了新的支持，可用于在圖像的外部說明文本中發(fā)現(xiàn)和定位對(duì)應(yīng)的視覺對(duì)象描述詞匯，從而達(dá)到輔助進(jìn)行圖像檢索的目的。
　　 基于VIMAC習(xí)得系統(tǒng)，我們可以獲得詞匯類別與視覺特征的對(duì)應(yīng)關(guān)系，所以圖像視覺特征及其描述詞匯的對(duì)齊關(guān)鍵就在于為句子中的詞匯確定其所屬的范疇，也就是詞分類問題。我們通過對(duì)圖像描述句進(jìn)行包括切分，詞性標(biāo)注在內(nèi)的預(yù)處理后，基于知網(wǎng)提取圖像描述語料中的

3、關(guān)于顏色、大小、位置、形狀的詞匯，進(jìn)行分類，最終將詞匯與其相對(duì)應(yīng)的圖像的視覺屬性對(duì)齊。本文同時(shí)對(duì)實(shí)現(xiàn)這一過程中的幾個(gè)關(guān)鍵因素對(duì)最終性能的影響進(jìn)行了分析。實(shí)驗(yàn)表明，對(duì)語料進(jìn)行詞性標(biāo)注處理后，詞語分類正確率大大提高；當(dāng)訓(xùn)練語料逐步增加時(shí)，分類性能也逐步增加，但當(dāng)語料達(dá)到一定規(guī)模后，性能基本也趨于飽和。之后，我們建立了一個(gè)數(shù)據(jù)庫，將圖像信息及其標(biāo)注存儲(chǔ)起來，便于之后的添加，提取，修改和管理。最后為了直觀的顯示，利用ASP技術(shù)，編制出動(dòng)態(tài)網(wǎng)頁，