多視點視頻虛擬視點合成技術(shù)綜述【文獻綜述】

1、<p><b>　　畢業(yè)論文文獻綜述</b></p><p><b>　　電子信息工程</b></p><p>　　多視點視頻虛擬視點合成技術(shù)綜述</p><p>　　摘要： 隨著多視點視頻研究的發(fā)展，各種多視點視頻編碼技術(shù)的研究都成為熱點領(lǐng)域，其中虛擬視點合成技術(shù)尤為關(guān)鍵，本文簡要概括了多視點視頻編碼技術(shù)的發(fā)展

2、歷程和虛擬視點合成算法的研究現(xiàn)狀，一種高效的虛擬視點插值算法是高質(zhì)量圖像合成的基礎(chǔ)。本文重點介紹了幾種現(xiàn)在虛擬視點插值算法并做了比較，由比較分析出每種算法的優(yōu)缺點。</p><p>　　關(guān)鍵詞：多視點視頻；視頻編碼技術(shù)；虛擬視點合成；</p><p>　　多視點視頻編碼技術(shù)簡介</p><p>　　多視點視頻(Multi-view Video)是一種新型的具有立體感

3、和交互操作功能的視頻,通過在場景中放置多臺攝像機,記錄下多個視點數(shù)據(jù),提供給用戶以視點選擇和場景漫游的交互能力。多視點視頻將在自由視點視頻、立體電視、立體視頻會議、多視點視頻點播等數(shù)字娛樂領(lǐng)域有著非常廣泛的應用前景。隨著相機數(shù)目的增加, 多視點視頻的數(shù)據(jù)量也成倍增加。系統(tǒng)的一個挑戰(zhàn)就是研究實現(xiàn)一種高效的多路編碼傳輸機制,從而對數(shù)據(jù)進行高效地壓縮以便存儲和傳輸視頻序列。</p><p>　　多視序列包含同一個場景內(nèi)

4、多個視點的畫面,畫面之間存在很高的相關(guān)性,如何消除這些冗余,是多視點視頻編碼的一個重要問題。特別是,對于多視點視頻編碼來說,在消除空間冗余的同時,還要消除時間上的冗余。因此,多視點視頻編碼方法包含傳統(tǒng)視頻編碼方法的內(nèi)容,但它比傳統(tǒng)編碼方法更加復雜。利用視差估計消除多個視點間空間冗余、預測編碼以及虛擬視點圖像的合成是其中比較重要的技術(shù)[1]。</p><p>　　多視點視頻技術(shù)研究發(fā)展概況</p>&

5、lt;p>　　目前視頻和音頻結(jié)合的新型媒體的主要特點是具有交互能力。用戶在觀看的過程中不再是一個被動的消費者，取而代之的是用戶可以通過某種方式進行選擇他想觀看場景遠近和角度[2]。它的發(fā)展經(jīng)歷了以下歷程：</p><p>　　(1)最早出現(xiàn)的具有此功能的媒體是在圖像處理中，它提供了紋理的三維模型(textured three-dimensional models)來實現(xiàn)上述功能，被稱為3D-model[2]

6、。這種方式的缺點在于需要預先生成物體和場景的三維模型，而且如果要求模型具有相片一樣的真實感或者場景是動態(tài)改變的話，那么模型的生成是十分困難的。</p><p>　　(2)與此相反，基于圖像的合成(image-based rendering，以下簡稱IBR)著重在從圖像中生成新的虛擬圖像，取代使用三維模型。IBR起源于光學函數(shù)。函數(shù)具有七個參數(shù)分別代表了每一條光線的空間位置(三參數(shù))，方向(二參數(shù))，時間和波長。然

7、而這個可以表示視覺的公式只具有理論意義。在實際應用中通過忽略一部分參數(shù)，如波長，時間或空間位置，或者限定視點的使用數(shù)量來使其可行。例如光場(light field)和全景的拼接和鑲嵌。這些方法的特點在于完全不使用場景中物體的幾何信息，因此可以把這一類稱為基于外觀的IBR。這類方法的缺點在于數(shù)據(jù)量和數(shù)據(jù)獲取的代價都太大，而且對于交互有嚴格的限制。 </p><p>　　(3)在近幾年的研究中，IBR技術(shù)在合成交互場

8、景中的使用十分流行，進而出現(xiàn)了處理視頻圖像的VBR(video-based rendering)方法。VBR的提法是基于對IBR基本概念的拓展。VBR是指使用視頻數(shù)據(jù)作為輸入，生成動態(tài)交互的虛擬環(huán)境。然而為了描述運動增加了數(shù)倍的必要圖像數(shù)據(jù)，總體數(shù)據(jù)量的增加是驚人的。完整的VBR處理鏈可以分成以下幾部分:圖像獲取/采集，場景的表現(xiàn),編碼，傳輸/流化，交互的顯示[3]。</p><p>　　基于上面的討論，可以看到

9、多視點視頻的合成是屬于VBR方法范疇的，而VBR方法的突出特性就是處理鏈中各個部分相關(guān)性很強，特別是采集和合成是兩個緊密相關(guān)的環(huán)節(jié)，因此關(guān)于VBR合成的研究都是基于各自建立的采集環(huán)境的。</p><p>　　虛擬視點合成算法研究現(xiàn)狀</p><p>　　虛擬視點合成是指依據(jù)兩個或多個關(guān)于同一場景的真實視點圖像,合成出虛擬視點圖像。虛擬視點合成在虛擬現(xiàn)實、多視點視頻等領(lǐng)域中有著廣泛的應用，目

10、的在于通過現(xiàn)有攝像機攝取的圖像合成出更多的視點圖像，從而在不增加成本的前提下使可切換的視點增加，切換過程更加平滑，觀看起來更加流暢。如圖1 所示將虛擬視點合成技術(shù)應用于自由視點視頻中,可以為觀看者提供更多的觀察視角[4]。</p><p>　　圖1　虛擬視點合成在自由視點視頻中的應用</p><p>　　目前虛擬視點合成主要有基于位差預測的視圖合成、基于圖像拼合的視點合成、基于深度圖的視點

11、合成與改進的基于深度圖的視點合成。下面就各類視點合成算法原理、優(yōu)缺點做進一步闡述。</p><p>　?。?）基于位差預測的視點合成算法。</p><p>　　為了滿足多視點視頻中新視點合成的需要，提出了一種基于位差估計和補償插值的視點合成方法。實驗結(jié)果表明，當兩個攝像機間的基線比較小的時候，合成的視圖質(zhì)量和傳統(tǒng)方法相當，但合成速度比較快，可應用于實時的交互式系統(tǒng)中。</p>

12、<p>　　該算法的原理如下，首先基于塊匹配的位差估計，將輸入的左右兩幅視圖分別看成是待合成視圖的“前向參考幀”和“后向參考幀”。對待合成視圖與參考視圖進行分塊處理， 接著根據(jù)最小均方差準則找出待合成視圖中的每一個圖像塊在兩幅參考視圖中所對應的最佳位差值[5]。根據(jù)得到的最佳位差值，就可以依據(jù)位差補償方式進行“幀內(nèi)插” 來插值完成中間視點圖像的合成。</p><p>　　在運動估計中物體的運動矢量的大

13、小非常有限，但在位差估計中對于那些接近攝像機的物體，他們的位差矢量會非常大，由于上述對位差的估計是在一個固定的搜索區(qū)域內(nèi)進行的，因此有些塊的位差估計會出現(xiàn)錯誤，需要進行調(diào)整，否則會產(chǎn)生比較明顯的塊效應[6]。值得注意的是，該算法適用于攝像機之間的基線距離比較小的情況，如果攝像機間的距離比較大，那么此時輸入的兩幅視圖間的變化就不能簡單的看成是一種平動了，從而上述的預測位差的方法也就不再適用了。</p><p>　　

14、這種基于位差預測和補償?shù)囊朁c合成算法依據(jù)輸入的兩個不同視角處的圖像，可以合成出基線上任意一點處的視圖[7]。這種算法繪制視圖速度較快，不需預處理，非常適合于實時性監(jiān)控系統(tǒng)的應用。缺點在于本算法在進行位差矢量預測的時候只是考慮了亮度成分，沒有考慮到色度成分，因此在下一步工作中還應該將色度成分的影響考慮進去。</p><p>　?。?）基于圖像拼合的視點合成</p><p>　　本算法將視點插

15、值和基于圖像拼合的視點變形技術(shù)相結(jié)合,提出一種中間視合成算法。首先均勻化原始立體圖像對;然后只對前景對象區(qū)域進行視差估計以提高視差匹配的速度和精度;接著確定左右視點中的可靠區(qū)域,根據(jù)可靠區(qū)域生成過渡中間視點;最后,采用視點插值結(jié)合變形的方法,由過渡視合成中間視點[8]。實驗結(jié)果表明合成的中間視點圖像質(zhì)量良好,而且合成速度也明顯提高。本文算法可用于實時3D 視頻應用的交互式立體顯示,可以實現(xiàn)任意視點的實時繪制。</p>&l

16、t;p>　?。?）基于深度圖的視點合成</p><p>　　基于深度圖的視點合成是指根據(jù)已經(jīng)得到的多視點視頻圖像及其深度信息，通過虛擬視點合成的方法生成任意中間視點圖像的過程。虛擬視點合成可以用于自由視點視頻中不同視角間的漫游，從而提供交互式的視頻觀看體驗。也可以用于多視點視頻編碼，通過合成的虛擬視點圖像對實際視點圖像進行視差補償預測，起到大大提高多視點視頻壓縮編碼效率的作用。</p><

17、;p>　　基于深度圖的視點合成算法通過三維變換將參考圖像映射到目標圖像坐標系生成虛擬視點圖像[9]。由于目標圖像中的部分像素點在源圖像中被遮擋導致合成的虛擬視點圖像存在空洞，由源視點向目標視點轉(zhuǎn)換時，物體間的相互遮擋導致合成的虛擬圖像存在重疊。</p><p>　　（4）改進的基于深度圖的視點合成</p><p>　　本算法原理與傳統(tǒng)的基于深度圖的視點合成算法相同，改進的地方是通過雙

18、向視點插值和相鄰像素加權(quán)插值的方法來彌補傳統(tǒng)基于深度圖的視點合成算法所造成的圖像空洞和圖像重疊問題[10]。</p><p>　?、俸铣蓤D像的空洞填補</p><p>　　當以源圖像作為參考圖像合成目標位置的虛擬圖像時，如果目標圖像中的一部分像素點在源圖像中處于被遮擋的狀態(tài)，那么這些點將不能在虛擬圖像中繪制出來，反映在結(jié)果中就是合成視點圖像上的空洞。因此，合成的虛擬視點圖像中的像素點必須是

19、參考圖像中存在的像素點。本算法通過雙向視點插值和相鄰像素加權(quán)插值的方法來填補空洞。雙向視點插值的思想來源于由目標視點兩側(cè)的源視點分別預測合成目標視點的虛擬視點圖像，其產(chǎn)生的空洞正好互補。在使用了雙向視點插值方法之后，合成圖像上的空洞面積大大減少，但仍然殘留一部分空洞。仍然留有空洞的原因是這些像素點在左右兩幅源圖像中均被遮擋造成的，解決的方法是對空洞進行相鄰像素加權(quán)插值。</p><p><b>　?、趫D

20、像重疊的改進</b></p><p>　　重疊產(chǎn)生的原因是從源視點向目標視點移動后，物體會相互遮擋。當由視點1 或視點2 來合成視點3 的虛擬視點圖像時，A 物體和B 物體的像素會發(fā)生重疊。反映在視點合成的過程中就是進行像素搬移時，參考圖像中的多個像素點投影到了目標圖像的同一位置。當不同的像素投影到同一位置時，后來的像素覆蓋掉先來的像素，此時從視點3 觀察就會發(fā)現(xiàn)錯誤：物體的一部分丟失了。</p

21、><p>　　本文所采用的解決方案為深度大小判斷，當發(fā)生多個像素點投影到目標圖像的同一位置時，選擇深度值最小的點，忽略其他點。按此方法處理過后，目標圖像上有可能發(fā)生像素重疊的點只保留深度值最小的點，即距視點最近的點，成功解決了投影變換過程中的像素重疊問題。</p><p>　　本算法通過基于深度圖的三維變換來進行虛擬視點的合成，將參考圖像映射到目標圖像坐標系生成虛擬視點圖像。針對該算法所存在的

22、合成圖像空洞較大且存在像素重疊等問題進行了算法改進。采用了雙向視點插值和相鄰像素加權(quán)插值的方法來填補空洞，使合成圖像的質(zhì)量有了大幅提高。根據(jù)深度值大小對造成重疊的像素進行取舍的方法較好的解決了視點合成過程中像素重疊的問題[11]。</p><p>　　本算法的不足之處是：1.在判斷造成重疊的像素點深度值大小時，為了保存像素點在源視點的深度值大小，在虛擬視點的合成過程當中生成了一幅參考深度圖像增加了算法代價。另外，

23、進行相鄰像素加權(quán)插值時算法還有待于進一步優(yōu)化以降低算法代價。2.通常情況下每幅圖像在被獲取時的光照環(huán)境不同，引入顏色校正會提高虛擬視點合成的效果。</p><p><b>　　總結(jié)</b></p><p>　　多視點視頻可廣泛應用于三維電視和任意視點視頻等新興的多媒體業(yè)務，其廣闊的應用前景對當前的編碼和傳輸技術(shù)提出了很大的挑戰(zhàn)。多視點視頻的提出體現(xiàn)了下一代多媒體應用網(wǎng)

24、絡(luò)化、交互性和真實感的發(fā)展方向。其中，虛擬視點圖像的合成是其中比較重要的技術(shù)，也是比較熱門的研究方向之一，完美的解決虛擬視點的合成技術(shù)難題，既可以實現(xiàn)多視點視頻中視角轉(zhuǎn)化過程中平滑過渡，保證高質(zhì)量合成虛擬視點圖像，同時又可以顯著提高多視點視頻的編碼效率。</p><p><b>　　參考文獻</b></p><p>　　[1] 李淳,馬力妮.多視點視頻編碼技術(shù)研究[J

25、].計算機與現(xiàn)化化,2009,161(1):105～108.</p><p>　　[2] 霍俊彥,常義林,李明,馬彥卓.多視點視頻編碼的研究現(xiàn)狀及其展望[J].通信學報,2010,31(5) :113～121.</p><p>　　[3] 李放.多視點視頻系統(tǒng)中虛擬視點合成算法的研究和實現(xiàn)[D].北京：清華大學,2005.</p><p>　　[4] 陳思利，李鵬程

26、.一種基于DIBR的虛擬視點合成算法[J].成都電子機械高等?？茖W校學報,2010，13(1):15～19.</p><p>　　[5] 宋麗娟，霍智勇，朱秀昌. 基于位差預測的視圖合成[D].江蘇：南京郵電大學，2009. </p><p>　　[6] 楊海濤,常義林,霍俊彥等.應用于多視點視頻編碼的基于深度特征的圖像區(qū)域分割與區(qū)域視差估計[J].光學學報,2008,28(6):1073

27、～1078.</p><p>　　[7] 呂朝輝,袁惇.基于視差估計的中間視圖合成[J].光電子·激光,2007,18(7)：855～858.</p><p>　　[8] AN Ping ,ZHANG Zhao-yang,LIU Su-xing. Image Mosaic Based View Synthesis for Interactive Stereoscopic Disp

28、lay[D]. Shanghai University, 2008.</p><p>　　[9] 郁理,郭立,袁紅星.基于深度圖像的視點繪制新方法[J].中國科學院研究生院學報,2010,27(5):638～644.</p><p>　　[10]劉祥凱，彭強，夏旭.改進的基于深度圖的視點合成算法[D].成都：西南交通大學,2008.</p><p>　　[11] M