多模態(tài)特征融合和變量選擇的視頻語義理解.pdf

1、隨著計(jì)算機(jī)技術(shù)及互聯(lián)網(wǎng)應(yīng)用的迅速發(fā)展，多媒體數(shù)據(jù)特別是視頻數(shù)據(jù)呈海量趨勢增長，如何有效存儲(chǔ)、管理、傳輸、檢索和使用這些多媒體數(shù)據(jù)，是擺在人們面前巨大的挑戰(zhàn)和亟待解決的研究問題。視頻數(shù)據(jù)蘊(yùn)含了豐富的語義，同時(shí)視頻又是時(shí)序數(shù)據(jù)，視頻中存在圖像、音頻和文本三種媒質(zhì)數(shù)據(jù)，并呈現(xiàn)時(shí)序關(guān)聯(lián)共生特性。本文針對視頻數(shù)據(jù)中多種模態(tài)之間的時(shí)序關(guān)聯(lián)特性，通過特征融合和變量選擇來進(jìn)行視頻語義分析與理解。
　　 在視頻語義信息理解和挖掘中，充分利用圖像、

2、音頻和文本等多模態(tài)媒質(zhì)之間的交互關(guān)聯(lián)是非常重要的研究方向。考慮到視頻的多模態(tài)和時(shí)序關(guān)聯(lián)共生特性，提出了一種基于多模態(tài)子空間相關(guān)性傳遞的語義概念檢測方法來挖掘視頻的語義信息。該方法對所提取視頻鏡頭的多模態(tài)底層特征，根據(jù)共生數(shù)據(jù)嵌入和相似度融合進(jìn)行多模態(tài)子空間相關(guān)性傳遞而得到鏡頭之間的相似度關(guān)系，接著通過局部不變投影對原始數(shù)據(jù)進(jìn)行降維以獲得低維語義空間內(nèi)的坐標(biāo)，再利用標(biāo)注信息訓(xùn)練分類模型，從而可對訓(xùn)練集外的測試數(shù)據(jù)進(jìn)行語義概念檢測，實(shí)現(xiàn)視頻

3、語義信息挖掘。實(shí)驗(yàn)表明這一方法有較高的準(zhǔn)確率。
　　 傳統(tǒng)視頻表達(dá)所采用的向量模型除了會(huì)產(chǎn)生高維向量而導(dǎo)致“維度災(zāi)難”問題外，同時(shí)在降維過程中，由于特征向量過高的維度及訓(xùn)練樣本的數(shù)據(jù)不足，將不同類型特征進(jìn)行拼合會(huì)引起“過壓縮”問題，以致丟失大量信息。另外，不同類型特征通過簡單向量拼接也在一定程度上減弱或忽略了視頻中這些多種模態(tài)特征之間的時(shí)序關(guān)聯(lián)共生性。為了解決這一問題，提出了一種基于高階張量表示的視頻語義分析與理解框架。在這個(gè)框

4、架中，視頻鏡頭首先被表示成由視頻中所包含的文本、視覺和聽覺等多模態(tài)數(shù)據(jù)構(gòu)成的3階張量；其次，基于此3階張量表達(dá)及視頻的時(shí)序關(guān)聯(lián)共生特性設(shè)計(jì)了一種子空間嵌入降維方法，稱為“張量鏡頭”；由于半監(jiān)督學(xué)習(xí)從已知樣本出發(fā)能對特定的未知樣本進(jìn)行學(xué)習(xí)和識(shí)別，最后在這個(gè)框架中提出了基于“張量鏡頭”的直推式支持張量機(jī)算法以及兩種基于主動(dòng)學(xué)習(xí)的后精化處理策略，其不僅保持了張量鏡頭所在的流形空間的本征結(jié)構(gòu)，而且能將訓(xùn)練集合外數(shù)據(jù)直接映射到流形子空間，同時(shí)充分

5、利用未標(biāo)記樣本改善分類器的學(xué)習(xí)性能。實(shí)驗(yàn)結(jié)果表明本方法能有效地進(jìn)行視頻鏡頭的語義概念檢測。
　　 為了更加有效利用標(biāo)記樣本，基于壓縮感知和稀疏表示理論，結(jié)合稀疏表達(dá)、非負(fù)矩陣分解和監(jiān)督學(xué)習(xí)，提出了基于(非負(fù))組稀疏表示的分類方法對圖像和視頻進(jìn)行分類思路。其基本思想是將測試樣本表示為訓(xùn)練樣本的加權(quán)線性組合：即在非負(fù)ι1正則化因子約束下，對每個(gè)訓(xùn)練樣本求取一個(gè)回歸系數(shù)，同時(shí)每一類別也求取加權(quán)系數(shù)，使得在訓(xùn)練過程中能基于稀疏系數(shù)對類別