基于注意機(jī)制的卷積遞歸神經(jīng)網(wǎng)絡(luò)的動(dòng)作識(shí)別.pdf

1、隨著網(wǎng)絡(luò)的高速發(fā)展，視頻呈現(xiàn)爆炸式的增長(zhǎng)，視頻已經(jīng)成為當(dāng)今主流媒體之一。視頻內(nèi)容的理解已經(jīng)成為當(dāng)今計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)，同時(shí)也是視頻檢索，視頻字幕生成等應(yīng)用的基礎(chǔ)。動(dòng)作識(shí)別是視頻分類的一個(gè)重要分支?？v觀整個(gè)發(fā)展史，動(dòng)作識(shí)別從傳統(tǒng)的手動(dòng)提取特征到如今的深度學(xué)習(xí)模型，所用的方法越來越高效，模型越來越自動(dòng)，所取得的效果越來越顯著。但是無論什么方法，所提出的模型的宗旨都在于能夠在有限的訓(xùn)練集上取得一個(gè)好的視頻表示，能夠模式化視頻中的空間靜態(tài)

2、信息跟時(shí)間動(dòng)態(tài)信息。視頻比圖像復(fù)雜，在于它具有時(shí)間動(dòng)態(tài)性。兩個(gè)動(dòng)作有可能局部相似，但是隨著時(shí)間的推移，在整個(gè)時(shí)間節(jié)點(diǎn)上是不相同的，這就要求我們?nèi)ゲ蹲狡渲械牟町愋浴?br>　　本文提出了基于深度神經(jīng)網(wǎng)絡(luò)的動(dòng)作識(shí)別方法。該方法首先使用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)視頻幀進(jìn)行特征提取，再利用空間轉(zhuǎn)換網(wǎng)絡(luò)對(duì)特征進(jìn)行注意機(jī)制處理，最后使用卷積循環(huán)神經(jīng)網(wǎng)絡(luò)建模動(dòng)作中的時(shí)序信息，從而進(jìn)行動(dòng)作分類。
　　鑒于人類在識(shí)別圖像時(shí)會(huì)有側(cè)重點(diǎn)，會(huì)根據(jù)圖像中的某一些部

3、分來進(jìn)行識(shí)別，所以本文在對(duì)動(dòng)作視頻進(jìn)行識(shí)別的時(shí)候加入注意機(jī)制。本文采用空間轉(zhuǎn)換網(wǎng)絡(luò)對(duì)提取到的特征進(jìn)行處理，提取空間中有用的特征向量，去除空間中無效的特征，從而降低視頻中噪聲的影響，提高識(shí)別準(zhǔn)確率。遞歸神經(jīng)網(wǎng)絡(luò)把特征圖拉成向量，丟失空間信息。特征圖包含空間信息，這種信息能夠被提取用來提高模型的準(zhǔn)確率。本文在原始的長(zhǎng)短期記憶網(wǎng)絡(luò)中加入卷積操作來提取這種信息，使其能夠在中間傳播的過程中保持空間性質(zhì)。實(shí)驗(yàn)結(jié)果表明這種方式是十分有效的，能夠極大的