基于多模態(tài)信息的新聞視頻內(nèi)容分析技術(shù)研究.pdf

1、對視頻數(shù)據(jù)的有效處理、瀏覽、檢索和管理正伴隨著視頻數(shù)據(jù)的快速增長而成為亟待解決的現(xiàn)實問題。視頻內(nèi)容分析技術(shù)旨在將非結(jié)構(gòu)化的視頻數(shù)據(jù)結(jié)構(gòu)化，并提取其中的語義內(nèi)容，構(gòu)建低層特征到高層語義之間的橋梁，最終建立視頻的摘要、索引和檢索等應(yīng)用系統(tǒng)，提供給用戶方便的視頻內(nèi)容獲取方式。 本論文以新聞視頻為研究對象，以音頻、字幕、視覺等多模態(tài)信息及其有效融合為研究手段，以模式識別理論中的相關(guān)模型為工具，對視頻內(nèi)容分析技術(shù)展開了較為深入的研究。主要

2、貢獻(xiàn)包括以下三個方面： （1）提出了一種新穎的基于MPEG壓縮域的主持人鏡頭快速檢測算法。其中，在預(yù)處理部分，引入了一種改進(jìn)的利用壓縮域信息檢測人臉的方法；在鏡頭聚類部分，構(gòu)造了一個新穎的度量特征量對主持人鏡頭采用系統(tǒng)聚類法進(jìn)行聚類，并用模糊C均值聚類法解決了聚類過程中自適應(yīng)閾值確定的問題。該算法在保持較高檢測性能的前提下提高了主持人鏡頭的檢測速度。 （2）提出了一種基于決策樹的鏡頭分類算法，將新聞視頻鏡頭依次分為廣告、

3、“其他”、靜態(tài)圖像、主持人、記者和獨白六類。其中廣告、“其他”和靜態(tài)圖像三類分別利用黑幀、運動、時間以及人臉等特征進(jìn)行檢測；主持人鏡頭采用聚類方法進(jìn)行檢測；對于比較難區(qū)分的記者和獨白鏡頭，創(chuàng)新性地將它們的檢測轉(zhuǎn)換為文本序列標(biāo)注的問題，并采用條件隨機(jī)場進(jìn)行建模。該算法有效地融合了音頻、人臉以及上下文等多模態(tài)信息，對新聞視頻中重要的鏡頭進(jìn)行了區(qū)分，并取得了較好的分類結(jié)果。 （3）提出了一種融合音頻、字幕以及視覺等多模態(tài)信息的新聞故事

4、單元分割算法。創(chuàng)新性地將字幕變化、音頻類型以及鏡頭類型等高層次內(nèi)容特征聯(lián)系起來共同處理，巧妙地將新聞鏡頭序列轉(zhuǎn)換成為多個關(guān)鍵詞序列，使新聞故事單元分割問題轉(zhuǎn)換成為文本序列分割的問題。該算法采用條件隨機(jī)場進(jìn)行建模，充分利用了每個序列內(nèi)以及序列之間的上下文信息，得到了較好的分割性能。 此外，論文還綜述了視頻內(nèi)容分析技術(shù)，構(gòu)造了一個基于規(guī)則和隱馬爾可夫模型的分層音頻分類方法，實現(xiàn)了一個較完整的新聞視頻中字幕提取框架，最終設(shè)計并實現(xiàn)了一