利用腦功能響應(yīng)特征的視音頻分析方法研究.pdf

1、隨著視音頻數(shù)據(jù)的爆炸式增長，準(zhǔn)確的視音頻檢索、分類等分析方法成為人們研究的熱點(diǎn)。目前視音頻分析方法大都基于顏色、紋理、梅爾頻率倒譜系數(shù)等計(jì)算機(jī)底層視聽覺特征，這些底層特征在視音頻分類、檢索中的準(zhǔn)確率還有待于進(jìn)一步提高。本文提出一種新穎的腦功能響應(yīng)（Brain functional response，BFR）特征，并利用該特征進(jìn)行視音頻分析，提高了現(xiàn)有視音頻分析的準(zhǔn)確率。主要工作包括：
　　首先，提出了一種基于大腦功能響應(yīng)信息的視頻

2、檢索方法。首先，隨機(jī)選取少量視頻作為訓(xùn)練樣本讓被試（測試者）觀看，同時(shí)利用功能磁共振成像技術(shù)（Functional magnetic resonance imaging，fMRI）采集被試大腦感興趣區(qū)域（Regions of the interests，ROIs）的響應(yīng)信號。其次，利用功能連接矩陣來度量每兩個(gè)ROIs之間的功能連接，功能連接矩陣可以表征大腦對視頻刺激的理解并作為初始的BFR特征。第三，由于功能連接矩陣中存在著冗余和無效信

3、息，我們利用特征選擇方法對其進(jìn)行特征選擇，選取其中最具分辨能力的元素作為BFR特征。第四，由于fMRI采集成本較高，對所有視頻進(jìn)行fMRI掃描不具有可行性，但是我們卻擁有大量廉價(jià)的底層視覺特征，所以本文利用雙高斯過程回歸算法對訓(xùn)練樣本的BFR特征和底層視覺特征進(jìn)行訓(xùn)練，然后利用訓(xùn)練好的回歸模型將測試視頻的底層視覺特征映射到BFR特征空間，得到測試視頻的BFR特征。最后，利用流形排序方法在BFR特征空間上進(jìn)行視頻檢索。視頻數(shù)據(jù)來自TREC

4、VID2005數(shù)據(jù)庫，實(shí)驗(yàn)結(jié)果表明本文方法得到的視頻檢索準(zhǔn)確率高于底層特征的檢索準(zhǔn)確率。
　　其次，提出了一種融合底層視聽覺特征和BFR特征的視頻聚類方法。隨著對BFR特征和底層特征的深入研究，我們發(fā)現(xiàn)雖然整體上 BFR特征具有較高的視頻分析準(zhǔn)確率，但是兩者之間也具有互補(bǔ)性，即有些視頻在BFR特征空間具有較高的區(qū)分能力，有些卻在底層視聽覺特征空間中具有優(yōu)勢，因此，我們利用多模態(tài)譜聚類算法對回歸模型預(yù)測得到的BFR特征和底層特征進(jìn)行

5、融合聚類，得到比單獨(dú)使用BFR特征或底層視聽覺特征更高的視頻聚類準(zhǔn)確率。另外，我們采用基于小波變換一致性的功能連接矩陣來度量ROIs之間的交互，實(shí)驗(yàn)證明可以得到更優(yōu)的BFR特征。
　　再次，提出了一種基于自然刺激fMRI的音頻分類方法。首先，選取少量音頻作為訓(xùn)練樣本，從被試聆聽訓(xùn)練樣本時(shí)采集的大腦fMRI信號中獲取BFR特征。其次，提出了一種基于自訓(xùn)練的雙高斯過程回歸算法對訓(xùn)練樣本的BFR特征和底層特征訓(xùn)練回歸模型，然后利用回歸模

6、型將測試樣本的音頻特征映射到 BFR特征空間，該回歸算法能充分利用測試樣本的信息，相對于其他回歸算法，可以預(yù)測得到更好的BFR特征。最后，將測試樣本的BFR特征和底層音頻特征融合后進(jìn)行音頻分類，得到了比傳統(tǒng)音頻特征和本文提出的BFR特征更高的音頻分類準(zhǔn)確率。
　　最后，提出了一種基于 BFR特征和視聽覺特征的視頻受關(guān)注度識別方法。視頻受關(guān)注度分析涉及情感計(jì)算學(xué)科，是一個(gè)新興的研究方向。本文隨機(jī)選取不同受關(guān)注度的視頻作為訓(xùn)練樣本，獲

7、取被試在觀看訓(xùn)練樣本時(shí)的fMRI信息，并量化得到BFR特征。然后，收集現(xiàn)有與視頻受關(guān)注度有關(guān)的底層視聽覺特征，并從訓(xùn)練樣本和測試視頻中提取這些特征。最后，利用多模態(tài)深度玻爾茲曼機(jī)（Deep Boltzmann machine，DBM）無監(jiān)督學(xué)習(xí) BFR特征和底層特征的聯(lián)合表達(dá)，該聯(lián)合表達(dá)可以作為融合特征用于視頻受關(guān)注度分類中。本文采用的多模態(tài)DBM可以直接預(yù)測沒有進(jìn)行fMRI掃描的視頻的聯(lián)合表達(dá)，即只在訓(xùn)練階段需要兩種特征的參與，而在實(shí)

8、際運(yùn)用中，只需要基于底層特征和DBM模型便可以將測試視頻的融合特征預(yù)測出來，不再需要對測試視頻進(jìn)行 fMRI掃描。在視頻數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果證明了本文方法得到的視頻受關(guān)注度分類準(zhǔn)確率高于計(jì)算機(jī)底層視聽覺特征。
　　綜上所述，本文利用fMRI技術(shù)采集大腦接受視音頻刺激時(shí)的響應(yīng)，并從中提取了BFR特征，通過機(jī)器學(xué)習(xí)算法將該特征引入到現(xiàn)有的視音頻分析中，提高了視音頻分析的準(zhǔn)確率。本文方法在腦科學(xué)和多媒體分析之間架起了橋梁，為傳統(tǒng)的視音頻分