視頻語義信息提取的研究.pdf

1、隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)的發(fā)展，產(chǎn)生了越來越多的視頻數(shù)據(jù)。相比較于傳統(tǒng)的文本信息，視頻的內(nèi)容更加豐富、直觀和生動。但是視頻由于其非結(jié)構(gòu)化和內(nèi)容的多義性，使得無法對它進(jìn)行有效的檢索。如何對這些視頻進(jìn)行有效地組織，存儲，管理和檢索，使用戶能快速獲得所需要的信息，已成為一種迫切的需求。傳統(tǒng)的信息檢索方案，因其不能自動、客觀地概括視頻的內(nèi)容，已越來越不能滿足信息技術(shù)發(fā)展的需要。20世紀(jì)90年代初，開始了一種新技術(shù)的研究，這就是目前人們普遍關(guān)注的基于

2、內(nèi)容的視頻檢索技術(shù)（CBVR，Content-Based Video Retrieval）。 早先的視頻信息檢索方案，是通常人工瀏覽視頻、人工標(biāo)注信息來實(shí)現(xiàn)的。但它不能客觀、準(zhǔn)確、全面地概括視頻的內(nèi)容?，F(xiàn)有的內(nèi)容檢索技術(shù)則是基于底層特征的，它將視頻序列分割為鏡頭，并在鏡頭內(nèi)選擇關(guān)鍵幀，然后提取鏡頭的運(yùn)動特征和關(guān)鍵幀中的視覺特征，并存入視頻數(shù)據(jù)庫。最后根據(jù)用戶提交的查詢按照一定特征進(jìn)行視頻檢索，將檢索結(jié)果按相似性程度交給用戶。這種

3、檢索方式是基于底層特征的，非語義層面的。然而，人們更習(xí)慣于使用高層概念進(jìn)行相似性判斷。當(dāng)中存在的低層特征和高層語義之間的“語義鴻溝”問題，使得CBVR還難以適用于普通用戶。如何填平“語義鴻溝”，達(dá)到語義級別的視頻檢索，成為最具挑戰(zhàn)的研究內(nèi)容。 為實(shí)現(xiàn)根據(jù)語義查詢，本論文針對視頻高層語義提取（或視頻標(biāo)注）展開研究，利用支持向量機(jī)（SVM）提取視頻的語義特征。在當(dāng)前普遍缺乏訓(xùn)練樣本的前提下，將主動學(xué)習(xí)引入語義提取當(dāng)中，在人工干預(yù)盡量

4、少的情況下，獲得更好的結(jié)果。然而已有的主動學(xué)習(xí)算法多采用單模態(tài)的方法，即將特征向量串聯(lián)成一個大維數(shù)向量，來進(jìn)行學(xué)習(xí)?？紤]到視頻特征的多樣性和復(fù)雜性，本文提出一種基于SVM的多模態(tài)主動學(xué)習(xí)算法，在每一輪主動學(xué)習(xí)中，根據(jù)每個模態(tài)反饋的樣本進(jìn)行人工標(biāo)注。每個模態(tài)使用SVM學(xué)習(xí)其概念。通過該方法，更充分地挖掘了人工標(biāo)注的勞動，避免反饋樣本局限于特定區(qū)域。 本文的主要工作如下：1、首先論述了視頻檢索的研究背景和研究現(xiàn)狀；2、在研究視頻檢索