用于視頻動作檢測的時空多任務(wù)神經(jīng)網(wǎng)絡(luò).pdf

1、近些年來，通過使用深度學(xué)習(xí)技術(shù)，視頻中的動作檢測任務(wù)已經(jīng)取得了十分顯著的進步。在實際的應(yīng)用中，更多的需求是在未裁剪的長視頻中進行動作檢測任務(wù)，然而由于在時間維度上定位一個動作的難度較大，目前已有方法的準(zhǔn)確率都并不能令人滿意。為了解決這一挑戰(zhàn)，本文提出了一個基于時空特征的、多任務(wù)的、三維卷積神經(jīng)網(wǎng)絡(luò)，用于在未剪裁長視頻中進行動作檢測（包括時序定位）。首先，本文提出了一個融合網(wǎng)絡(luò)結(jié)構(gòu)，用于在訓(xùn)練階段提取視頻級時空特征。通過在動作識別任務(wù)數(shù)據(jù)

2、集上評價這一融合網(wǎng)絡(luò)結(jié)構(gòu)，實驗結(jié)果說明了視頻級時空特征的有效性。第二，基于這一融合結(jié)構(gòu)，本文提出了一個時空的多任務(wù)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，這一網(wǎng)絡(luò)結(jié)構(gòu)中包含兩個分支輸出層分別用處動作分類和動作的時序定位。為了達到較高的時序定位的準(zhǔn)確率，本文展現(xiàn)了一個新的時序回歸方法，用于校正包含一個動作的時序候選框。與此同時，為了更好的利用視頻中豐富的運動信息，本文引入了一個新的視頻表示方法，交錯圖像，作為神經(jīng)網(wǎng)絡(luò)的一個另外的輸入。綜合以上本文提出的方法，最終本