面向觀眾的電影情感內(nèi)容表示與識別方法研究.pdf

1、隨著數(shù)字音視頻數(shù)據(jù)的爆炸性增長，從這些非結(jié)構(gòu)化數(shù)據(jù)中自動提取富含語義的內(nèi)容成為當(dāng)前面臨的一項(xiàng)挑戰(zhàn)，由此引發(fā)的相關(guān)研究熱潮催生了基于內(nèi)容視頻檢索（CBVR）這一研究課題。視頻情感內(nèi)容是人們理解視頻內(nèi)容時(shí)的一個(gè)重要但是經(jīng)常被研究者忽略的因素。作為CBVR 研究領(lǐng)域中的一個(gè)新興研究方向，視頻情感計(jì)算可以利用CBVR和情感計(jì)算的相關(guān)理論理解視頻情感內(nèi)容。但是，由于人類情感與低層特征之間存在較大的“情感鴻溝”，目前仍然缺乏一個(gè)統(tǒng)一的理論框架用于視

2、頻情感內(nèi)容理解。在此背景下，以電影視頻作為研究對象提出一種面向觀眾的電影視頻情感內(nèi)容表示與識別方法。
　　 為了有效表示電影視頻的情感內(nèi)容同時(shí)反映觀眾的個(gè)性情感特征，提出一種面向觀眾的電影情感空間建模方法。通過引入典型模糊情感子空間的概念，該模型可以統(tǒng)一離散和連續(xù)兩大流派的心理學(xué)情感模型。模型采用模糊C-均值聚類算法劃分情感空間，利用高斯混合模型確定劃分出的典型模糊情感子空間的情感隸屬度函數(shù)。
　　 該電影情感空間可以反

3、映觀眾的個(gè)性化情感體驗(yàn)，能夠在情感空間中定義典型情感狀態(tài)區(qū)域，并且能夠方便地計(jì)算各種情感狀態(tài)的情感強(qiáng)度。實(shí)驗(yàn)結(jié)果驗(yàn)證了建模方法的有效性，并且表明該電影情感空間可以面向觀眾地表示電影情感內(nèi)容。
　　 為了在低級特征與電影情感內(nèi)容之間存在的“情感鴻溝”之上架起橋梁，依照情緒心理學(xué)和電影創(chuàng)作的相關(guān)理論，設(shè)計(jì)、提取和選擇了一組電影情感特征。利用Whitney特征選擇算法選擇出兩組電影情感特征向量，其中一組用于描述情感誘力，另一組用于描述

4、情感激勵(lì)。實(shí)驗(yàn)結(jié)果表明，提出的電影情感特征向量在區(qū)分情感誘力和激勵(lì)的正負(fù)時(shí)優(yōu)于現(xiàn)有研究結(jié)果。
　　 為了有效檢測電影情感內(nèi)容，提出一種基于激勵(lì)曲線和電影情感樹的多級電影視頻摘要生成算法?；诖怂惴?，可以從原始影片中檢測出情感語義較為顯著的部分。
　　 激勵(lì)曲線是一種可以用來度量電影觀眾情緒興奮度隨電影情感內(nèi)容起伏變化的曲線。首先利用激勵(lì)曲線定位不同情感粒度的電影情感單元，然后將這些情感單元按情感粒度大小逐級組織起來即可生

5、成電影情感樹。電影情感樹的每層節(jié)點(diǎn)都對應(yīng)著原始電影的一個(gè)電影視頻摘要。為了識別電影視頻摘要中各情感單元的情感內(nèi)容，研究中提出兩種情感識別方法：基于基因-隱馬爾可夫聯(lián)合模型（GA-HMM）的情感內(nèi)容識別方法和基于情感空間的情感內(nèi)容識別方法。GA-HMM 情感識別器可以用于識別觀眾的基本情感事件。實(shí)驗(yàn)結(jié)果表明與傳統(tǒng)的隱馬爾可夫模型相比，GA-HMM可以在減小計(jì)算量的同時(shí)獲得更高的情感識別率?；谇楦锌臻g的情感內(nèi)容識別方法采用多層感知機(jī)和多元

6、線性回歸計(jì)算電影情感單元的情感坐標(biāo)?；陔娪扒楦袉卧那楦凶鴺?biāo)和電影情感空間的情感隸屬度函數(shù)，該方法提出“最大隸屬原則”和“閾值原則”，用來表示和識別觀眾觀影過程中的個(gè)性化情感體驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該方法能夠有效地表示和識別個(gè)性化電影情感內(nèi)容。
　　 電影情感內(nèi)容表示與識別需要研究的問題還很多。在電影情感空間建模方面，現(xiàn)有的建模方法完全依賴觀眾自己標(biāo)注的情感評價(jià)數(shù)據(jù)建模，給用戶帶來的負(fù)擔(dān)較重，如何利用已有的其他用戶的情感數(shù)據(jù)為一個(gè)