視頻自動(dòng)分割及語(yǔ)義提取若干關(guān)鍵技術(shù)研究.pdf

1、對(duì)視頻數(shù)據(jù)的有效處理、瀏覽、檢索和管理正伴隨著視頻數(shù)據(jù)的快速增長(zhǎng)而成為亟待解決的現(xiàn)實(shí)問(wèn)題。視頻內(nèi)容分析技術(shù)旨在將非結(jié)構(gòu)化的視頻數(shù)據(jù)結(jié)構(gòu)化,并提取其中的語(yǔ)義內(nèi)容,最終建立視頻索引和檢索等應(yīng)用系統(tǒng),提供給用戶方便的視頻內(nèi)容獲取方式,它綜合了多媒體處理、模式識(shí)別、計(jì)算機(jī)視覺(jué)、圖像理解等領(lǐng)域的知識(shí),具有廣闊的應(yīng)用前景。本文按照視頻內(nèi)容分析的邏輯順序,研究了鏡頭檢測(cè)、場(chǎng)景分割、圖像流和音頻流中若干語(yǔ)義對(duì)象的提取及融合多模態(tài)對(duì)象實(shí)現(xiàn)視頻中的眾多語(yǔ)義

2、事件檢測(cè)等技術(shù)。主要?jiǎng)?chuàng)新和研究結(jié)果如下：
　　 ⑴提出了基于運(yùn)動(dòng)補(bǔ)償和自適應(yīng)雙閾值的鏡頭檢測(cè)算法。在該算法中,融合了運(yùn)動(dòng)特征和圖像特征。先是提取前后兩幀圖像中的分塊運(yùn)動(dòng)矢量,然后對(duì)運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償,在此基礎(chǔ)上根據(jù)前后幀間的像素值不變點(diǎn)數(shù)計(jì)算自適應(yīng)雙閾值實(shí)現(xiàn)鏡頭的突變和漸變的檢測(cè)。實(shí)驗(yàn)證實(shí)該算法不僅能夠有效地檢測(cè)出突變和漸變,而且算法適應(yīng)于多種視頻,具有一定的普適性,并且因?yàn)椴捎昧诉\(yùn)動(dòng)補(bǔ)償,所以對(duì)視頻幀間的運(yùn)動(dòng)具有較強(qiáng)的魯棒性

3、。
　　 ⑵分別以影視類視頻和廣告視頻為研究對(duì)象,提出了兩種場(chǎng)景分割算法。首先以影視類視頻為研究對(duì)象,針對(duì)以往基于閾值聚類的場(chǎng)景檢測(cè)算法中存在的需要設(shè)置經(jīng)驗(yàn)閾值及聚類后得不到各類的類別中心的缺陷,提出了新穎的基于均值漂移聚類的場(chǎng)景檢測(cè)算法。在該算法中,先是基于均值漂移,在滑動(dòng)鏡頭窗內(nèi)對(duì)各鏡頭聚類,并獲得相應(yīng)的聚類中心,然后根據(jù)電影視頻場(chǎng)景的發(fā)展模式,計(jì)算兩個(gè)鏡頭類之間的時(shí)序距離,接著基于時(shí)空關(guān)系進(jìn)行場(chǎng)景檢測(cè),并且由相應(yīng)的聚類中心

4、獲得場(chǎng)景關(guān)鍵幀,最后對(duì)場(chǎng)景過(guò)分割進(jìn)行后續(xù)處理。實(shí)驗(yàn)證實(shí)該方法能快速聚類,并且能有效的檢測(cè)出場(chǎng)景和場(chǎng)景關(guān)鍵幀。隨后以廣告視頻為研究對(duì)象,結(jié)合視頻的特色,先是對(duì)音頻建立高斯混合模型,然后基于分割熵檢測(cè)音頻的跳變點(diǎn),最后結(jié)合視頻中的文本檢測(cè)及音頻跳變點(diǎn)實(shí)現(xiàn)廣告單元邊界的檢測(cè)。實(shí)驗(yàn)證實(shí)算法具有一定的檢測(cè)率。
　　 ⑶以足球視頻為研究對(duì)象,分別從圖像流和音頻流入手,提出了若干個(gè)基本語(yǔ)義對(duì)象提取的算法。精彩的射門(mén)事件發(fā)生在球門(mén)附近,球門(mén)的檢

5、測(cè)有助于射門(mén)事件的檢測(cè)。結(jié)合球門(mén)的圖像特征,提出了基于Top-Hat變換和支持向量機(jī)的球門(mén)檢測(cè)算法。實(shí)驗(yàn)證實(shí)算法具有較高的查全率和查準(zhǔn)率,并對(duì)圖像模糊的視頻具有很強(qiáng)的魯棒性。回放的慢鏡頭對(duì)精彩事件具有定位語(yǔ)義作用。結(jié)合慢鏡頭回放前后的徽標(biāo)鏡頭的特征,提出了一種基于徽標(biāo)和規(guī)則的慢鏡頭回放檢測(cè)算法。實(shí)驗(yàn)證實(shí)該算法不僅具有較高的查全率和查準(zhǔn)率,而且所需的時(shí)間代價(jià)也較小。與圖像特征相比,音頻特征同樣具有豐富的語(yǔ)義作用。在對(duì)隱馬爾可夫模型進(jìn)行系統(tǒng)