基于上下文的視頻多語義標注研究及實現.pdf

1、如何對當前環(huán)境下海量的視頻數據進行有效的檢索和管理成為了多媒體技術領域的一個挑戰(zhàn)。對視頻添加語義標注是解決這個問題的主要方式，然而由于現實中視頻內容復雜多變，而且視頻語義的復雜性、模糊性和主觀性使得低層特征和高層語義之間存在著“語義鴻溝”，導致現有的標注方法很難達到滿意的效果。視頻豐富的內容在語義上存在一定的關聯性，在時間上也存在上下文關聯性，因此，充分利用這兩個特性將有助于縮小視頻的“語義鴻溝”，提高標注的準確性，以滿足海量數據檢索和

2、管理的要求。
　　本文基于視頻數據的時間和語義的上下文關聯特性，對視頻進行標注及優(yōu)化，來解決現有視頻語義標注過程中重復勞動多、效率低下和效果不佳的問題。完成的工作主要包括：
　　一、提出一個基于視頻內容上下文的多語義自動標注方法。該方法從視頻層次結構信息和視頻語義信息兩方面進行標注，在結構上從上到下將視頻、特征幀和圖像區(qū)域構建成一個樹模型；在語義信息上將劃分好的區(qū)域根據訓練好的分類模型轉換為相應的文本標注。
　　二、提

3、出一個基于壓縮域和和聚類的特征幀提取方法。本文是以現有視頻基于聚類和基于壓縮域的特征幀提取算法為基礎加以改進，利用壓縮域中I幀為中心進行聚類，然后根據幀之間的相似度重新計算聚類中心，以此得到視頻特征幀幀，并根據聚類大小得到每個特征幀對視頻的貢獻度。最后通過實驗證明此方法有很好的切分性能。
　　三、根據視頻的結構信息構建視頻樹模型整合視頻標注結果。對于提取出的視頻特征幀，進行區(qū)域劃分，然后再將劃分好的區(qū)域轉為文本；然后再利用Imag

4、eNet2014數據集訓練Caffe框架，以得到圖像分類模型，將劃分的區(qū)域利用Caffe進行檢測，得到區(qū)域的對象概念。然后根據視頻的垂直結構，構建視頻樹模型，得到初步的視頻標注結果。
　　四、提出了一個基于模糊圖的視頻標注優(yōu)化方法。分析視頻語義概念間的關聯性，針對風景領域的視頻數據，統計視頻中對象概念出現的頻率以及它們之間的關聯關系，然后將概念間的關聯關系構建語義模糊圖，利用模糊圖結合視頻樹模型對標注結果進行優(yōu)化。
　　本文