基于內容的視頻場景摘要技術的研究.pdf

1、數(shù)字視頻屬于國家重點發(fā)展的信息產業(yè)領域,隨著寬帶網絡和數(shù)字電視的迅速發(fā)展,視頻點播、交互電視、視頻網站等應用需求將越來越廣泛,這些應用都將共同面臨大量涌現(xiàn)的數(shù)字化視頻數(shù)據(jù)。但線性的、非結構化的視頻數(shù)據(jù)形式往往使得視頻瀏覽效率非常低下。視頻摘要技術就是在這種情況下誕生的,該技術的結果是對原始視頻主要內容的概括,對基于視頻的各種應用具有廣泛的意義。
　　 本文在綜合分析已有的基于內容的視頻摘要方法的基礎上,提出基于改進的蟻群算法與凝

2、聚相結合的關鍵幀提取方法、基于語義的視頻場景檢測方法以及基于時空特征融合的視覺注意模型的場景摘要生成方法,并設計實現(xiàn)相應的原型系統(tǒng)。具體內容如下:
　　 (1)提出改進的蟻群算法與凝聚相結合的關鍵幀提取方法。該方法先通過改進的蟻群算法自組織地形成一個初始聚類,再對初始聚類結果執(zhí)行凝聚算法,優(yōu)化初始聚類結果并加快算法收斂,最終提取代表整個鏡頭內容的關鍵幀。從而有效地解決傳統(tǒng)聚類法提取關鍵幀時對初值敏感、容易出現(xiàn)早熟和需利用先驗知識

3、來確定聚類類別數(shù)等問題。
　　 (2)提出一種基于語義的視頻場景檢測方法。該方法首先提取視頻幀的多個底層特征,并對其進行核函數(shù)級的線性加權處理,然后利用支持向量機(SVM)對處理后的特征向量進行語義分類預測,生成鏡頭的語義概念矢量,最后根據(jù)語義概念矢量對鏡頭聚類得到場景。從而克服了傳統(tǒng)場景檢測中只采用視頻底層特征而不考慮視頻高層語義的問題,并較好地實現(xiàn)了場景檢測。
　　 (3)提出基于時空特征融合的視覺注意模型的場景摘要

4、生成方法。將時空特征融合的視覺注意模型引入到場景摘要生成過程中,提取鏡頭的空間域顯著度和時間域顯著度,將空間域顯著度和時間域顯著度進行結合得到鏡頭的視覺注意度;同時,考慮鏡頭的持續(xù)時間,提出鏡頭的持續(xù)度,并將鏡頭的視覺注意度和時間持續(xù)度加權求和,得到鏡頭的重要度。根據(jù)鏡頭重要度的大小選出場景中重要的鏡頭,通過把重要鏡頭的關鍵幀按時序排列輸出,生成代表場景主要內容的場景摘要。
　　 (4)采用面向對象思想設計并開發(fā)場景摘要生成的原