面向感知的圖像場影及情感分類算法研究.pdf

1、隨著多媒體技術(shù)和計算機網(wǎng)絡(luò)技術(shù)的發(fā)展，人們接觸到的圖像數(shù)據(jù)以前所未有的速度增長，越來越豐富的圖像資源使用戶難以在浩如煙海的數(shù)據(jù)中找到自己真正需要的信息。因此，對圖像數(shù)據(jù)進行有效的分類組織成為目前迫切需要解決的問題。在圖像的分類過程中，用戶關(guān)心的是在概念層次上的圖像內(nèi)容，即圖像所描述的對象、場景以及表達的情感等。但是，限于目前計算機對圖像理解的技術(shù)水平，直接從圖像的低層視覺特征推理出圖像的高層語義還十分困難。本文從人的認知角度出發(fā)，以“視

2、覺詞包建模―語義主題建模-情感映射函數(shù)構(gòu)建”為路線來彌合圖像低層特征和高層語義之間的語義鴻溝。論文工作的前半部分主要研究圖像的場景分類算法，著重討論如何為圖像構(gòu)建符合用戶感知的語義視覺詞包模型，以及如何有效地融入上下文語義信息提取圖像的語義主題以改進場景分類性能。論文工作的后半部分主要研究圖像的情感分類算法，著重討論如何基于視覺認知理論，建立有效的機器學習模型來解決圖像的情感分類問題。
　　(1)提出一種基于信息瓶頸理論的圖像場景

3、分類算法
　　在基于“視覺詞包模型(Bag of Visual Words)”的圖像場景分類算法上，由于其性能在很大程度上依賴于視覺單詞(Visual words)，因此本文提出了一種基于信息瓶頸理論的圖像場景分類算法，無需手工標注利用語義相似性生成視覺單詞，這與目前依據(jù)視覺相似性生成視覺單詞的思路有顯著的區(qū)別。其原理是，首先基于圖像的場景類別標簽，采用高斯混合模型(GMM)將圖像區(qū)域的低層視覺特征轉(zhuǎn)換為表征語義類別標簽的特征；其

4、次，基于信息瓶頸理論(IB)依據(jù)語義相似性聚類生成語義視覺單詞；最后以語義視覺單詞的出現(xiàn)頻率表示圖像的場景內(nèi)容，完成圖像場景分類任務(wù)。
　　(2)提出一種基于上下文語義信息的圖像場景分類算法
　　在基于“語義主題建模”的圖像場景分類算法上，為了能同時克服視覺單詞中存在的同義(一義多詞)和多義(一詞多義)問題，本文基于視覺認知理論，提出了一種基于上下文語義信息的圖像場景分類算法，將圖像區(qū)域的視覺特征相似性與語義概念相關(guān)性相結(jié)合

5、構(gòu)建語義主題。其原理是，首先采用概率潛在語義分析模型(pLSA)挖掘視覺單詞之間的語義共生概率；其次利用馬爾科夫隨機場(MRF)理論中類別標記的偽似然度近似策略將圖像區(qū)域的視覺特征相似性與語義概念相關(guān)性有機地集成起來，充分發(fā)揮這兩種信息對于語義主題生成的貢獻，最后語義主題的出現(xiàn)頻率表示場景內(nèi)容，從而有效地提高場景分類算法的性能。
　　(3)提出一種基于Affective-pLSA模型的圖像情感分類算法
　　針對圖像的情感分類

6、問題，本文基于視覺心理學的相關(guān)成果，提出了一種基于情感概率潛在語義分析(Affective-pLSA)模型的圖像情感分類算法。與傳統(tǒng)的算法不同，該算法并不是利用已有的機器學習算法建立低層視覺特征和高層情感語義之間的映射關(guān)系；而是針對圖像情感分類問題的自身特點，改進概率潛在語義分析(pLSA)模型生成一種符合人類情感感知規(guī)則的Affective-pLSA模型，作為映射函數(shù)完成情感分類任務(wù)。算法的原理是基于視覺認知理論，即一幅圖倒的情感語義

7、是由圖像中視覺單詞按照一定的共生規(guī)則組合表達的，首先以視覺單詞間的共生概率值為基元構(gòu)建圖像的矩陣表示；其次利用Affective-pLSA模學習圖像的情感主題；最后采用多標記K近鄰算法(ML-KNN)，基于圖像情感主題的出現(xiàn)頻率進行情感分類。需要指出的是，傳統(tǒng)的pLSA模型反映的是潛在主題與視覺單詞本身的概率關(guān)系。而Affective-pLSA模型試圖挖掘出反映圖像某種情感語義信息的視覺單詞的共生頻率關(guān)系，即潛在主題與視覺單詞共生頻率的