圖像視覺(jué)特征與情感語(yǔ)義映射方法的研究.pdf

1、隨著人機(jī)交互系統(tǒng)的快速發(fā)展，視覺(jué)特征中的情感信息近年來(lái)正越來(lái)越受到人們的重視，特別是在特征提取和圖像分類等領(lǐng)域。而目前的圖像處理和應(yīng)用大多忽略了情感的影響和作用。有效地挖掘圖像與情感之間的映射規(guī)則，是情感計(jì)算在圖像處理方面的探索，是一個(gè)嶄新的且有很大挑戰(zhàn)性前沿課題。 從信號(hào)處理的觀點(diǎn)來(lái)看，圖像本身不僅包括了視覺(jué)特征，還包括了文字信息和情感信息。情感可被分為兩類:主要(原始)情感和次要(派生)情感。主要或原始情感包括害怕、憤怒、高

2、興、悲傷和厭惡，是所有社會(huì)化的哺乳動(dòng)物共有的，有其特殊的表現(xiàn)形式。次要或派生情感包括自豪、感激、悲痛、親切和驚奇，是主要情感的變化或組合形式，其中一些是人類特有的。 圖像中的可視化特征(顏色、紋理和形狀)在基于內(nèi)容的圖像檢索中扮演著重要的角色，將圖像進(jìn)行情感的標(biāo)注能夠?qū)椭C的人一機(jī)交互、裝潢和基于情感計(jì)算等工程作出相應(yīng)的貢獻(xiàn)，但情感有很大的主觀性，不同的圖像或圖像中的不同顏色、紋理、輪廓等會(huì)給人不同的感受，而不同的人對(duì)同一幅圖像

3、也會(huì)產(chǎn)生不同的情感感受，這樣很難在客觀上給一幅圖像定位為某種情感。 傳統(tǒng)的分類模型針對(duì)預(yù)先設(shè)定的標(biāo)簽進(jìn)行分類，然而現(xiàn)實(shí)世界的情感豐富多彩，主觀性和模糊性較強(qiáng)，各個(gè)情感之間界限模糊，無(wú)法實(shí)現(xiàn)清晰分類。有鑒于此，本文基于“先聚后分”的基本思想，首先對(duì)圖像視覺(jué)特征進(jìn)行聚類，利用聚類模型對(duì)視覺(jué)特征進(jìn)行情感標(biāo)注，生成情感標(biāo)簽，然后對(duì)已標(biāo)注的視覺(jué)情感特征進(jìn)行分類實(shí)驗(yàn)，實(shí)現(xiàn)情感分類，完成視覺(jué)特征到情感語(yǔ)義的映射。著重做了以下幾個(gè)方面的工作:

4、 首先，從大量的實(shí)驗(yàn)、研究和參考文獻(xiàn)中積累出情感與圖像中的對(duì)應(yīng)關(guān)系，研究了顏色、紋理和形狀等目前常用的視覺(jué)特征在情感識(shí)別中的作用，分析了MPEG-7描述子并且通過(guò)基于自組織映射網(wǎng)絡(luò)的特征有效性研究方法，進(jìn)行了有效特征的篩選； 第二，綜合經(jīng)典情感空間分類方法，提出一個(gè)情感空間表示法量化情感，達(dá)到情感數(shù)字化以實(shí)現(xiàn)可計(jì)算； 第三，應(yīng)用自組織映射網(wǎng)絡(luò)建立了初步的視覺(jué)特征情感識(shí)別模型，利用自組織映射網(wǎng)絡(luò)對(duì)圖像情感進(jìn)行聚類和仿