視頻時空聯(lián)合模型與去噪研究.pdf

1、視頻信號是客觀事物連續(xù)采樣的結(jié)果，相鄰視頻像素間具有很強的相關(guān)性，利用這種相關(guān)性可以為視頻處理帶來性能的提升。為分析視頻語義，提升視頻處理的效果，人們引入時空聯(lián)合來描述這種復(fù)雜的時域與空域的相關(guān)性。隨著視頻信號處理技術(shù)的發(fā)展，時空聯(lián)合方法已經(jīng)成為發(fā)掘視頻信號中的潛在信息的重要途徑。傳統(tǒng)的信號模型將視頻信號視為隨機變量，時域關(guān)系與空域關(guān)系通常被分離，相應(yīng)地時域處理與空域處理只能獨立進行，時空聯(lián)合處理一般都是在處理結(jié)果上進行聯(lián)合。要提升視頻

2、處理的時空聯(lián)合程度，必須建立反映視頻時空特性的視頻模型。本文圍繞時空聯(lián)合處理的問題，對時空聯(lián)合視頻信號建模、時空聯(lián)合去噪、基于時空聯(lián)合模型的對象檢測與跟蹤等問題進行了研究，主要獲得了以下幾方面成果：
　　 1、提出了視頻剛體模型。視頻剛模型以只存在平移、縮放和旋轉(zhuǎn)三種運動的剛體區(qū)域分解視頻對象區(qū)域，以剛體區(qū)域的運動表達視頻信號的時域關(guān)系，以剛體區(qū)域及其層次關(guān)系表達視頻信號的空域關(guān)系。剛體模型的獲取包括區(qū)域劃分、區(qū)域匹配、層次判定

3、、運動估計和區(qū)域再劃分等過程：剛體區(qū)域可以通過顏色區(qū)域分割得到初步結(jié)果，區(qū)域間通過邊緣句法進行匹配，區(qū)域?qū)哟蝿t通過相互遮擋關(guān)系進行判定，區(qū)域間的運動關(guān)系可以通過區(qū)域的邊緣轉(zhuǎn)折點進行最小二乘估計，當(dāng)估計誤差較大時，對區(qū)域進行重復(fù)劃分，直到所有對應(yīng)像素的顏色絕對差值和進行許可范圍。
　　 2、提出了視頻流體模型。流體模型將同一對象區(qū)域在視頻中不同時刻的成像視為一個整體，使用視頻流線表示對象的質(zhì)心運動，視頻流紋表示對象的質(zhì)點運動，視頻

4、流線在時域上光滑，視頻流紋在空域與時域上均光滑。視頻流紋可以通過切出線、補入線、旋轉(zhuǎn)子和平移子描述其變化，進行簡化表示。流體模型的獲取過程包括區(qū)域劃分、流線計算、流紋計算等過程：流體的初始區(qū)域可以通過顏色區(qū)域分割獲得，流線可以先通過其時域上的光滑性預(yù)測、然后用對應(yīng)區(qū)域的質(zhì)心校正，流紋可以利用其上對應(yīng)像素顏色不變以及流紋在流體區(qū)域內(nèi)光滑、在時域上光滑等條件進行嚴(yán)格計算，也可以使用等色線進行估計，根據(jù)流紋的空域光滑性情況，還可以對流體區(qū)域進

5、行合并或再劃分。
　　 3、研究了基于時空聯(lián)合模型的視頻去噪方法?；趧傮w模型的中值去噪方法以剛體的時空關(guān)系決定鄰域，根據(jù)污染程度判斷像素的參考價值，能適應(yīng)高椒鹽噪聲去噪的需要?；诹黧w模型的中值去噪根據(jù)流紋的時域、空域光滑性判斷像素的污染程度與去噪?yún)⒖純r值。基于剛體模型的插值去噪算法通過插值恢復(fù)視頻在剛體區(qū)域內(nèi)的光滑性。基于流體模型的插值去噪算法通過插值恢復(fù)流紋的光滑性?；跁r空聯(lián)合模型的視頻去噪方法的去噪效果明顯優(yōu)于單純的時

6、域或空域去噪算法，也超過了基于運動補償?shù)臅r空聯(lián)合去噪方法。
　　 4、提出了一種利用幾何均值聯(lián)合時、空結(jié)果的視頻去噪方法。該方法以卡爾曼濾波進行時域濾波，以中值濾波進行空域濾波，根據(jù)時域與空域的污染程度計算結(jié)果的可靠性，以時域去噪結(jié)果與空域去噪結(jié)果的幾何均值作為最終去噪的結(jié)果?；诳柭鼮V波與中值濾波的去噪方法去椒鹽噪聲效果超越了以往的各種時空聯(lián)合去噪方法。
　　 5、將時空聯(lián)合模型應(yīng)用到鋼管生產(chǎn)過程視頻監(jiān)測的問題中，提

7、出了基于視頻流體模型的目標(biāo)檢測與跟蹤方法?；诹黧w模型對鋼管視頻建模，可以較容易獲得各視頻對象的流紋特征，結(jié)合視頻幀內(nèi)的空域關(guān)系，容易識別鋼管生產(chǎn)視頻中的人、鋼管、設(shè)備與地面等不同的對象?；诹黧w模型的鋼管目標(biāo)跟蹤通過流線與流紋的時域光滑性進行預(yù)測，通過流紋的空域光滑性進行位置校正。根據(jù)鋼管生產(chǎn)過程視頻監(jiān)測的需要，本文還建立了基于流體標(biāo)記的多鏡頭跟蹤與視頻聯(lián)動機制。實驗結(jié)果表明，基于流體模型的目標(biāo)檢測方法能準(zhǔn)確地檢測出完整的鋼管目標(biāo)，基