基于視頻流的人體行為識別方法研究.pdf

1、近些年來，隨著互聯(lián)網(wǎng)和多媒體技術(shù)的飛速發(fā)展，數(shù)字資源正處于指數(shù)式的增長狀態(tài)，數(shù)字視頻作為數(shù)字資源中的重要組成部分，已經(jīng)進入人們生活的方方面面，如何對這些數(shù)字視頻中的人體行為進行快速準確的分類，成為了人們研究的熱點。本文針對上述問題展開，主要目標是通過深度學習中的卷積神經(jīng)網(wǎng)絡技術(shù)提取視頻中的人體行為的時間特征與空間特征，實現(xiàn)對視頻中的人體行為快速準確地分類。論文主要工作與成果如下:
　　(1)針對卷積神經(jīng)網(wǎng)絡在使用高質(zhì)量視頻時產(chǎn)生的

2、巨大計算量問題，本文提出了一種雙流殘差網(wǎng)絡(Twostream-ResNet，TS-ResNet)用來進行人體行為識別。該算法首先使用殘差網(wǎng)絡構(gòu)造了空問識別流和時間識別流的雙流網(wǎng)絡結(jié)構(gòu)來提取視頻中的空間特征和時間特征，然后將這兩個特征融合后送入分類器分類，最后通過實驗分析驗證TS-ResNet增加了網(wǎng)絡的深度并提高了識別的準確度，同時降低了算法的時間復雜度。在UCF101和HMDB51數(shù)據(jù)集上分別進行實驗，結(jié)果表明，與人工特征中表現(xiàn)最好

3、的iDT算法相比，TS-ResNet在UCF101數(shù)據(jù)集上要高0.35％，而在HMDB51數(shù)據(jù)集上提升了5.6％。與傳統(tǒng)卷積神經(jīng)網(wǎng)絡算法VLAD vector相比，TS-ResNet在UCF101數(shù)據(jù)集上要高2.05％，而在HMDB51數(shù)據(jù)集上提升了6.4％。
　　(2)針對傳統(tǒng)殘差網(wǎng)絡中獲得的特征魯棒性不夠的問題，提出了一種深度融合殘差網(wǎng)絡(deep fusion ResNet，DF-ResNet)。該算法拋棄了傳統(tǒng)殘差網(wǎng)絡中的

4、極深層網(wǎng)絡，使用了更多的中層深度網(wǎng)絡，增加了融合次數(shù)，提升了潛在的基礎網(wǎng)絡組合數(shù)目，從而提高了整體網(wǎng)絡的性能。實驗分析驗證提出的DF-ResNet能夠提供比傳統(tǒng)的殘差網(wǎng)絡更高的準確度。將DF-ResNet在UCF101和HMDB51數(shù)據(jù)集上實驗，結(jié)果表明，與傳統(tǒng)殘差網(wǎng)絡相比，DF-ResNet在兩個數(shù)據(jù)集上的準確度分別提高了0.6％和1％。
　　(3)在上述算法的基礎上，為了進一步利用時間因素，本文提出雙流深度融合殘差網(wǎng)絡(Two