基于視差信息的3D視頻后處理的評估與改進.pdf

1、隨著人們對娛樂影音的體驗要求不斷提高以及3D電影的面市,3D視頻逐漸成為當今計算機視覺和多媒體領(lǐng)域的新興研究熱點。由于3D視頻較傳統(tǒng)的2D視頻增加了“景深”這一屬性，因此針對3D視頻的質(zhì)量評估標準和處理方法與2D視頻的情況有較大的不同。本文主要研究3D視頻的后處理及其評估問題，提出了一種基于視差信息的3D視頻客觀評估方案，并在傳統(tǒng)2D后處理方法的基礎(chǔ)上，通過融入視差信息，提出了一種更適合于3D視頻后處理的濾波方法，取得了不錯的效果。

2、r>　　 由于立體攝像頭的放置不可能滿足兩個攝像頭光軸之間絕對平行的條件，因此實拍圖像對的對應(yīng)掃描行之間一般并非是完全對準的，這不僅可能給觀看者帶來視覺上的不適，也給視差信息的求取工作帶來了一定的難度。為了簡化立體匹配問題并給出較好的解決方案，對立體圖對進行校正使對應(yīng)的掃描行保持一致是一種較好的預(yù)處理方案。通過對攝像頭進行標定雖然能取得較好的立體校正結(jié)果，但是標定過程一般比較繁瑣，且標定結(jié)果受攝像頭內(nèi)部參數(shù)和攝像頭間相對位姿變化的影響

3、較大。不僅如此，現(xiàn)實中有很多3D視頻并沒有現(xiàn)成的標定參數(shù)可以利用。因此，研究未標定的圖像校正問題具有非常重要的現(xiàn)實意義。在上述背景下，本文在第二章重點研究了此類圖像校正問題，提出了適用于未標定立體圖對的圖像校正方法。實驗結(jié)果表明，該方法能獲得較好的處理結(jié)果，校正后的立體圖對基本上可以滿足后續(xù)立體匹配步驟的要求。
　　 為了了獲得輸入3D視頻的視差信息，對校正后的圖像對進行立體匹配時，采用了基于區(qū)域的立體匹配方法以獲得稠密的場景視

4、差圖?？紤]到拍攝3D視頻時其攝像頭多為會聚放置，因此，為了更好地獲取感興趣區(qū)域的深度信息，本文在第三章對會聚放置模式下的匹配模型進行了分析，并給出了一種基于圖像MeanShift分割結(jié)果進行視差求取和優(yōu)化的立體匹配算法。首先計算立體圖對的初始視差，然后選取GCP（Ground Control Point）進行種子點生長，接著采用平面模型按區(qū)域?qū)σ暡钸M行擬合，最后采用BP置信傳播算法對視差結(jié)果進行全局優(yōu)化以獲得高質(zhì)量的稠密視差圖。為了減少

5、立體匹配算法的運行時間以滿足實際系統(tǒng)的應(yīng)用需求，本文還研究了基于GPU的立體匹配算法的計算加速問題，取得了較滿意的效果。
　　 在后續(xù)的第四章中，本文對3D視頻的評估問題進行了討論。首先將傳統(tǒng)的2D視頻后處理方法施加于壓縮后的低分辨率3D視頻并對其視覺效果進行了主客觀評估。接著利用所獲得的3D視頻的視差信息提出了一種基于視差信息的3D視頻后處理改進算法，在消除圖像塊效應(yīng)和減少深度感損失方面取得了較好的平衡。實驗結(jié)果表明，所提出的