面向視頻挖掘的視覺內(nèi)容分析.pdf

1、視頻挖掘具有廣泛的應(yīng)用前景,它通過分析原始視頻數(shù)據(jù)的內(nèi)容,實現(xiàn)不同目的和用途的數(shù)據(jù)挖掘任務(wù)。借助視頻挖掘,我們可以發(fā)現(xiàn)隱藏在視頻內(nèi)容中的有趣的模式,得到有用的知識,用來輔助情報分析和事務(wù)決策。然而,計算機(jī)在視頻內(nèi)容理解上的困難極大限制了視頻挖掘技術(shù)的發(fā)展。本文著手于解決視頻挖掘在視頻內(nèi)容理解上的難題,尋求視頻內(nèi)容在句法分段、語義提取等方面的解決途徑,建立視頻挖掘與視頻數(shù)據(jù)之間的橋梁。本文提出和改進(jìn)了若干算法進(jìn)行視覺內(nèi)容分析,實現(xiàn)視頻的內(nèi)

2、容理解。具體工作包括:首先,視頻的鏡頭檢測是視頻內(nèi)容理解的第一步,它實現(xiàn)了視頻內(nèi)容的句法分段。在圖像幀的描述及匹配上,本文提出了連續(xù)顏色直方圖的概念,基于距離插值的思想建立顏色直方圖,克服了簡單量化的“間隔效應(yīng)”。并引入空間的金字塔匹配算法,巧妙地在基于顏色直方圖的圖像匹配中添加了幾何空間信息約束。在鏡頭邊界的判定上,本文提出相似度演化矩陣來描述視頻鏡頭邊界的特征。借助少量的矩陣模板,并結(jié)合成熟的動態(tài)時間規(guī)整算法,實現(xiàn)了一種既能檢測切變

3、、又能檢測漸變的統(tǒng)一算法。其次,為了實現(xiàn)視頻流中視覺對象的自動標(biāo)注,本文提出了一種基于格子的均值漂移搜索算法,將視頻識別問題看成是一個對直方圖特征進(jìn)行檢測和跟蹤的問題。這種方法用一組圖像標(biāo)本來表示每個對象,檢測算法被用來以不同的縮放比例、不同的旋轉(zhuǎn)角度掃描整個圖像幀。同時進(jìn)行對象的跟蹤,把前一幀獲得對象在本幀進(jìn)行了狀態(tài)和特征的更新。通過將檢測信息與跟蹤信息進(jìn)行融合,實現(xiàn)了視覺對象在視頻中的連續(xù)識別。再次,本文采用了基于時空體的整體法實現(xiàn)

4、視覺行為的自動標(biāo)注。本文所研究的檢測問題并不局限于靜態(tài)的背景、穩(wěn)定的光照等限制條件,而是在真實的場景中研究人物的行為。為了找到更有效的表示模式,同時克服背景運動和不同外觀的影響,本文僅僅利用運動信息來描述的人物行為?；诠饬鲌龅挠嬎愫徒y(tǒng)計,本文設(shè)計了三種類型的局部運動直方圖來描述某個行為時空體。另一方面,本文采用GentleAdaBoost方法,選擇具有區(qū)分性的特征來學(xué)習(xí)行為模型,從而實現(xiàn)了對行為體的有效的分類。此外,本文還采用基于時空

5、塊的部件法實現(xiàn)視覺行為的自動標(biāo)注。本文設(shè)計了一種在視頻流中提取行為的時空塊部件的快速算法?？梢园凑諏嶋H應(yīng)用的需要,通過設(shè)置不同的頻率參數(shù)組合,實現(xiàn)時空塊部件的疏密程度和數(shù)量控制,使得行為的描述具有良好的可伸縮性。為了充分利用視覺行為在時間和空間上的結(jié)構(gòu)信息,本文提出了“部件三鏈環(huán)”的概念,建立顯式的形狀模型來描述行為的不同時空塊部件的相對位置信息。結(jié)合傳統(tǒng)的pLSA,實現(xiàn)了基于部件的視頻中的人物行為的檢測。最后,本文基于低級特征分析,提

6、出了一種定位監(jiān)控視頻中的“異常”行為的方法。無需預(yù)定義和學(xué)習(xí)顯式的模型來描述異常行為和正常行為,本文將異常行為的檢測問題理解為:從現(xiàn)有的幾段包含正常行為的視頻剪輯構(gòu)成的數(shù)據(jù)庫中,查詢新的觀測時空塊。本文提出了一種時空塊部件的特征描述符,融合了時空塊的外觀、運動和位置等三方面的信息對時空塊部件進(jìn)行全面的描述。為了實現(xiàn)“異常”行為的推理,本文提出一種“K-best”概率推理算法,對每個“時空塊”進(jìn)行極大似然估計,從而判斷當(dāng)前的部分行為是否異