深度視頻預(yù)處理及其編碼技術(shù)研究.pdf

1、自由視點視頻系統(tǒng)(FVV,Free viewpoint video)能夠提供更加真實的視覺感受，應(yīng)用前景廣闊。但FVV的數(shù)據(jù)量巨大，因此多視點彩色加深度(MVD,Multi-view video plus depth)成為 FVV的主流視頻格式，MVD的每個視點均包括彩色視頻及深度視頻，利用基于深度圖繪制(DIBR,Depth image based rendering)技術(shù)能夠由少數(shù)的已知視點繪制多個虛擬視點，從而大大降低FVV的數(shù)據(jù)

2、量。其中，深度視頻表征的是目標(biāo)物體與相機間的距離信息，紋理較為簡單。由于深度視頻獲取技術(shù)限制，現(xiàn)有的深度視頻主要通過深度估計獲得，但這種深度視頻不夠準確，紋理信息較為豐富，嚴重影響虛擬視點質(zhì)量和編碼性能。同時3D-HEVC(3D High Efficiency Video Coding)深度視頻幀內(nèi)編碼復(fù)雜度過高，阻礙了MVD視頻的實時傳輸。本文研究深度視頻預(yù)處理及其編碼技術(shù)，擬提高虛擬視點質(zhì)量及深度視頻編碼性能，主要包括以下三個部分。

3、
　　(1)估計的深度圖中含有豐富的紋理信息和深度突變，不僅在編碼時會浪費更多的碼率，還會影響虛擬視點的圖像質(zhì)量。針對這種問題，本文首先采用一種能夠在平滑深度紋理的同時保護邊緣的濾波器處理深度視頻。其次，通過由相機參數(shù)確定的自適應(yīng)閾值檢測深度突變。當(dāng)左視點的深度值由低到高突變時或右視點的深度值由高到低突變時會在虛擬視點中出現(xiàn)空洞。對于左視點，在左邊的突變會自適應(yīng)處理直到檢測不到突變；對于右視點，在右邊的突變用同樣的方法處理。實驗結(jié)

4、果表明，上述方法平均節(jié)省了24.88％的深度視頻編碼碼率，并且虛擬視點的圖像質(zhì)量也得到了顯著增強。
　　(2)深度視頻的不同區(qū)域?qū)μ摂M視點的質(zhì)量影響不同，本文提出了一種基于區(qū)域特征分析的深度視頻處理算法。首先，使用聚類算法將深度視頻自適應(yīng)地分為五類，同時檢測深度圖的邊緣并將邊緣塊化。其次，對于非邊緣像素，采用基于類特點的濾波器進行處理。最后，分別對彩色和深度視頻進行角點檢測并將檢測到的角點塊化，根據(jù)邊緣像素是否在彩色和深度的角點交

5、集區(qū)域內(nèi)而采用不同窗口尺寸的中值濾波。實驗結(jié)果表明，本算法能夠?qū)⑻摂M視點的客觀質(zhì)量平均提高0.43dB，并顯著提高虛擬視點的主觀質(zhì)量。
　　(3)不準確的深度視頻會影響虛擬視點質(zhì)量及編碼性能，且3D-HEVC的深度視頻幀內(nèi)編碼復(fù)雜度過高，為此本文提出了一種3D-HEVC深度視頻幀內(nèi)快速編碼算法。首先，在編碼前先處理深度視頻；其次，通過機器學(xué)習(xí)預(yù)測最大編碼單元(LCU,Largest coding unit)的最大劃分深度；最后根據(jù)