基于時空特征和詞袋模型的多模態(tài)視頻內(nèi)容識別算法研究.pdf

1、視頻內(nèi)容的識別與檢測是近十年來計算機視覺領域中一個十分熱門的話題。隨著視頻監(jiān)控應用的需求的大量上升，隨著互聯(lián)網(wǎng)技術的不斷發(fā)展和成熟，越來越多的應用場景涉及到了視頻內(nèi)容的自動識別檢測。利用視頻內(nèi)容檢測技術，可以自動地分析視頻中諸如人體等對象的運動模式，可以自動的檢測視頻中是否含有不健康或者需要屏蔽的信息，也可以在人機交互、視頻檢索等方面發(fā)揮重要的作用。
　　本文主要著眼于視頻中人行為的識別以及不健康視頻的檢測，根據(jù)這兩方面不同的側(cè)重

2、點，使用不同的技術，包括時空特征的提取分析、大量雙模態(tài)特征的融合、視覺/音頻詞袋模型向量生成、包含二次預測的SVM分類框架以及識別不健康信息的分層檢測架構。
　　在人行為識別方面，本文提出了一種空-時 SURF（快速魯棒特征）特征描述子，并且結合視頻詞匯概念，應用于人行為識別。這種新的描述子在行為識別應用中能很好的體現(xiàn)視頻的時空本質(zhì)，該描述子通過詞袋（Bag of Words）模型來表征視頻，在表征過程使用了soft-weight

3、ing（非硬性權重）。實驗以瑞典皇家理工學院的行為識別數(shù)據(jù)集作為測試對象，實驗即使用了相關領域傳統(tǒng)的分類策略，同時引入了包含二次判斷的投票系統(tǒng)，實驗證明了結合這種特征描述子和視頻詞匯的行為識別框架在速度和準確率上都要優(yōu)于現(xiàn)有的一些方法，同時新的分類策略在某些行為類型上要超過傳統(tǒng)的分類方法，能有效地應用于行為識別領域。
　　在不健康內(nèi)容檢測方面，本文根據(jù)暴力和色情這兩類典型的不健康視頻的固有特征，設計兩套有所針對性的檢測流程。使用改