深度視頻及視頻預(yù)處理技術(shù)【文獻(xiàn)綜述】

1、畢業(yè)設(shè)計(jì)文獻(xiàn)綜述畢業(yè)設(shè)計(jì)文獻(xiàn)綜述電子信息科學(xué)與技術(shù)電子信息科學(xué)與技術(shù)深度視頻及視頻預(yù)處理技術(shù)深度視頻及視頻預(yù)處理技術(shù)摘要：多視點(diǎn)視頻具有任意切換視點(diǎn)的特點(diǎn)，但由于稀疏的相機(jī)序列無(wú)法獲得各個(gè)角度的視點(diǎn)，這就需要利用深度圖來(lái)合成虛擬視點(diǎn)。對(duì)象深度值是多視點(diǎn)視頻的重要技術(shù)參量。基于深度信息在虛擬視點(diǎn)生成上的重要地位。本文主要介紹了深度圖的特性，深度視頻預(yù)處理的幾種方法。關(guān)鍵詞：多視點(diǎn)視頻；深度圖；預(yù)處理1、背景背景1.11.1多視點(diǎn)視頻多視點(diǎn)

2、視頻多視點(diǎn)視頻(Multi—ViewVideo)是一種新型的具有立體感和交互操作功能的視頻[14]，它通過(guò)多個(gè)視點(diǎn)的視頻數(shù)據(jù)滿足用戶從多個(gè)角度選擇和操作視聽(tīng)對(duì)象，提供了場(chǎng)景漫游的交互能力。多視點(diǎn)視頻信號(hào)是由一組平行、會(huì)聚或任意角度的相機(jī)陣列拍攝得到的視頻信號(hào)。能提供拍攝場(chǎng)景不同角度的視頻信息利，用其中的一個(gè)或多個(gè)視點(diǎn)信息可以合成任意視點(diǎn)的信息，達(dá)到自由切換任意視點(diǎn)的目的。為了滿足多視點(diǎn)視頻達(dá)到自由切換任意視點(diǎn)的目的，使用戶可以切換到原本

3、場(chǎng)景中并不存在的視點(diǎn)，我們必須通過(guò)獲取深度圖來(lái)繪制產(chǎn)生虛擬視點(diǎn)。隨著相機(jī)數(shù)目的增加，多視點(diǎn)視頻的數(shù)據(jù)量也成倍增加[5]，同樣，所需傳輸?shù)纳疃刃畔⒘恳苍黾?。因此需要研究有效的深度圖像壓縮方法，以緩解帶寬壓力。系統(tǒng)的一個(gè)挑戰(zhàn)就是研究實(shí)現(xiàn)一種高效的多路編碼傳輸機(jī)制，從而對(duì)數(shù)據(jù)進(jìn)行高效地壓縮以便存儲(chǔ)和傳輸視頻序列。1.21.2深度圖的特性深度圖的特性深度圖獲取主要有兩種方式：1）通過(guò)深度相機(jī)獲??；2）通過(guò)視差估計(jì)得到視差圖，進(jìn)而轉(zhuǎn)換得到深度圖。

4、通過(guò)深度相機(jī)來(lái)獲取深度圖，由于價(jià)格等因素，現(xiàn)階段無(wú)法商用化。因此，降低深度相機(jī)的成本是這方面努力的主要方向。通過(guò)深度估計(jì)算法來(lái)得到深度圖，目前仍然存在著計(jì)算量大、效果達(dá)不到應(yīng)用要求等問(wèn)題，因此，需要提出一個(gè)滿足應(yīng)用需求的深度估計(jì)算法。另外，目前的深度估計(jì)算法僅適用于一維相機(jī)情況，因此，需要考慮不同的相機(jī)配置情況下，深度估計(jì)的問(wèn)題。現(xiàn)階段MPEG組織的主要目光就是集中在深度獲取上。深度圖的特性應(yīng)該從兩個(gè)方面來(lái)討論：（1）理論上深度圖的特性

5、；（2）現(xiàn)有深度圖的特性。深度圖與彩色圖像相比具有紋理簡(jiǎn)單的特點(diǎn)。它只在對(duì)象邊界處產(chǎn)生深度圖值的跳變，而在對(duì)象內(nèi)部以及背景部分保持平坦。對(duì)于相機(jī)固定的序列，背景的深度值應(yīng)該保證不變。深度圖的時(shí)空相關(guān)性要大于彩色圖像的時(shí)空相關(guān)性。因此，采用H.264壓縮標(biāo)準(zhǔn)壓縮深度圖和彩色圖像時(shí)，深度圖的3.1.1鄰域平均法鄰域平均法是簡(jiǎn)單的空域處理方法。這種方法的基本思想是用幾個(gè)像素灰度的平均值來(lái)代替每個(gè)像素的灰度。鄰域平均法的空域思想使得算法的思想簡(jiǎn)

6、單、清晰；處理結(jié)果表明，鄰域平均算法對(duì)抑制噪聲是有效的。但是，隨著鄰域的增大，圖像的模糊程度也愈加嚴(yán)重。為克服這一缺點(diǎn)，可以采用閾值法減少由于鄰域平均所產(chǎn)生的模糊效應(yīng)。3.1.2低通濾波法這種方法是一種頻域處理法。在分析圖像信號(hào)的頻率特性時(shí)，一幅圖像的邊緣、跳躍部分以及顆粒噪聲代表圖像信號(hào)的高頻分量，而大面積的背景區(qū)則代表圖像信號(hào)的低頻分量。用濾波的方法濾除其高頻部分就能去掉噪聲，使圖像得到平滑[12][13]。3.1.3多圖像平均法如

7、果一幅圖像包含有加性噪聲，這些噪聲對(duì)于每個(gè)坐標(biāo)點(diǎn)是不相關(guān)的，并且其平均值為零，在這種情況下就可能采用多圖像平均法來(lái)達(dá)到去掉噪聲的目的。多圖像平均法是把一系列有噪聲的圖像｛gj(x，y)｝迭加起來(lái)，然后再取平均值以達(dá)到平滑的目的[14][15]。以上這些方法在不同程度上增強(qiáng)了去噪效果，但也帶來(lái)了運(yùn)算復(fù)雜、適用面窄等缺點(diǎn)。因而我們?cè)谶x擇消除噪聲方法時(shí)，必須綜合考慮各種因素，選擇最適合的平滑方法。四、總結(jié)四、總結(jié)對(duì)象深度值是多視點(diǎn)視頻的重要技

8、術(shù)參量?；谏疃刃畔⒃谔摂M視點(diǎn)生成上的重要地位，有關(guān)深度信息的研究必將是熱門(mén)領(lǐng)域。本文介紹的幾種深度視頻預(yù)處理方法，以及深度多視點(diǎn)視頻編碼方法都有各自不同的優(yōu)缺點(diǎn)。本人將在下一階段的工作中針對(duì)各方法的優(yōu)缺點(diǎn)，選擇或設(shè)計(jì)一種適合本課題的實(shí)現(xiàn)方法，完成課題任務(wù)主要參考文獻(xiàn)：主要參考文獻(xiàn)：[1]彭宗舉郁梅蔣剛毅等.一種多視點(diǎn)視頻編碼的宏塊模式快速選擇新算法[J].高技術(shù)通訊200818(3):253258.[2]畢厚杰.新一代視頻壓縮編碼標(biāo)準(zhǔn)

9、—H.264AVC[M].北京:人民郵電出版社2005.[3]朱仲杰郁梅蔣剛毅.用于立體視頻會(huì)議系統(tǒng)的立體對(duì)象分割和跟蹤算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)報(bào)2004:16(3):1620.[4]張?jiān)?多視點(diǎn)視頻信號(hào)的先進(jìn)編碼研究[D].寧波大學(xué)2007.[5]蔣剛毅張?jiān)朴裘?基于相關(guān)性分析的多模式多視點(diǎn)視頻編碼[J].計(jì)算機(jī)學(xué)報(bào)200730(12):22052211.[6]OhHHoYS.H.264BasedDepthMapSequen