自由視點立體電視系統(tǒng)的虛擬視點合成技術(shù)研究.pdf

1、自由視點立體電視（Free Viewpoint Television，F(xiàn)TV）系統(tǒng)作為三維電視（Three-Dimensional Television，3DTV）系統(tǒng)的又一技術(shù)突破，可以給觀眾帶來身臨其境的立體感受。通過同時顯示多路（N≥9）視點的視頻信息，它不僅能夠支持多用戶觀看，還能夠產(chǎn)生小范圍連續(xù)視差場以支持觀眾的頭部運動。在FTV系統(tǒng)中，由于傳輸帶寬和存儲空間的限制，通常僅傳輸兩到三路視點的視頻加深度信息，其余視點信息主要通過

2、基于深度圖像的繪制技術(shù)（Depth Image Based Rendering，DIBR）合成得到。
　　DIBR作為FTV系統(tǒng)中虛擬視點圖像合成的關(guān)鍵技術(shù)，盡管有諸多優(yōu)點，但是仍存在一定的缺陷。深度圖錯誤和視點間物體遮擋關(guān)系的變化是導(dǎo)致虛擬視點圖像中出現(xiàn)空洞、虛擬邊緣和幾何形變等問題的主要原因。本文圍繞FTV系統(tǒng)中的虛擬視點繪制過程，提出了基于深度修正和DIBR技術(shù)的虛擬視點合成方法。
　　本文將整個虛擬視點合成方法分為發(fā)

3、送端和接收端。發(fā)送端的深度圖修正部分基于低秩估計模型和Mean Shift算法，通過對前景運動物體和背景的分離，實現(xiàn)了針對深度圖前景缺失錯誤和背景深度錯誤的修正，解決了虛擬視點圖像中由深度圖錯誤所造成的幾何形變和圖像斷裂等問題。與此同時，發(fā)送端通過對不同視點的參考圖像進行色彩校正，降低背景中因圖像融合所產(chǎn)生的色彩差異給圖像質(zhì)量帶來的影響。
　　在接收端中，基于分層和過采樣的DIBR技術(shù)將參考圖像分為非邊緣區(qū)域、前景邊緣區(qū)域和背景邊

4、緣區(qū)域三部分。通過對邊緣區(qū)域和非邊緣區(qū)域采用不同的采樣方式，分層進行映射。在多視點圖像融合的過程中，本文采用先非邊緣區(qū)域，再前景邊緣區(qū)域，最后背景邊緣區(qū)域的順序進行融合，在減少物體邊緣空洞的同時，可以避免虛假邊緣的產(chǎn)生。最后，根據(jù)低秩估計模型中得到的背景深度信息，采用反向映射的方法對空洞區(qū)域進行填補。
　　實驗證明，基于深度修正和DIBR技術(shù)的虛擬視點合成方法解決了空洞區(qū)域、虛假邊緣和幾何形變等多種問題，可以在FTV系統(tǒng)中被用于合