多視點深度圖采集與質(zhì)量評估方法研究.pdf

1、隨著視頻技術(shù)的發(fā)展，能夠帶來沉浸式體驗的3D視頻(3D video,3DV)和能夠?qū)崿F(xiàn)觀眾與內(nèi)容商之間交互的自由視點視頻(free viewpoint video, FVV)引起了高度的重視和廣泛的研究。此類新型視頻系統(tǒng)中，利用多視點深度信息不但可以大大減少所需的視頻數(shù)據(jù)量，還可實現(xiàn)任意視點繪制，提高系統(tǒng)的靈活性；因此，多視點深度信息具有十分基礎(chǔ)又至關(guān)重要的作用。另一方面，深度值表征場景到成像平面的距離，它只能通過測量或者計算的方法獲得

2、，其中必然引入錯誤。因此，高質(zhì)量深度圖的獲取及其質(zhì)量評估成為3D視頻和自由視點視頻系統(tǒng)中意義重大的問題。本文圍繞該課題展開了三個方面的研究。首先，本文研究了多臺 RGB-D相機對場景進行多視點深度圖采集的方案，解決了多臺深度相機之間干擾的問題；然后，考慮到現(xiàn)有 RGB-D相機產(chǎn)品無法滿足新的視頻應(yīng)用對深度圖的需求，本文提出了一種基于相位結(jié)構(gòu)光和主動立體匹配的混合式采集方案以獲取深度圖；最后，本文研究了深度圖的質(zhì)量評估問題，考慮到無失真的

3、參考深度圖往往不存在，本文提出了一種基于其物理意義的無參考方案實現(xiàn)深度值的錯誤檢測和質(zhì)量評估。
　　首先，深度相機技術(shù)在最近幾年發(fā)展迅速，以微軟 Kinect為代表的RGB-D相機可快捷地獲取深度圖。然而，RGB-D相機并沒有多設(shè)備協(xié)同機制，當多臺 RGB-D相機采集同一場景的深度時會發(fā)生干擾，導(dǎo)致深度圖質(zhì)量下降。本文深入理解了干擾機制，分析了干擾的影響，進而提出了一種消除干擾以恢復(fù)深度值的方案。分析表明，RGB-D相機具有一定的

4、魯棒性，使干擾引起深度值丟失而非深度值變化，故可用有效深度值恢復(fù)出丟失的深度信息。另外，考慮深度圖在物體內(nèi)部和邊緣的性質(zhì)差異，本文進一步提出了區(qū)域自適應(yīng)的深度值恢復(fù)方案。該方案首先以紋理圖為參考，將深度圖劃分為平滑干擾區(qū)域和邊界干擾區(qū)域。對平滑干擾區(qū)域，在梯度域建立馬爾科夫隨機場(Markov random field, MRF)恢復(fù)出梯度，進而利用離散泊松方程(discrete Poisson equation, DPE)恢復(fù)深度值。

5、對邊界區(qū)域，在深度值空間內(nèi)建立紋理引導(dǎo)的MRF模型求取深度值。該方案在保留物體內(nèi)部平滑性的同時，也維持了物體之間尖銳的邊緣，保留了場景的幾何信息。
　　其次，3DV和 FVV等新的視頻應(yīng)用對深度圖提出了較高的要求。高質(zhì)量深度圖需要精確、稠密，通過單幀即可獲取以便適用于動態(tài)場景，并可擴展到多視點深度圖采集；而現(xiàn)有的RGB-D相機并不能良好地滿足該需求。因此，本文以現(xiàn)有結(jié)構(gòu)光測距方法為基礎(chǔ)，提出了一種混合方案來獲取高質(zhì)量深度圖。該方案

6、提出一種基于條帶的多頻率正弦波模板，該模板具有正弦波模板可攜帶相位信息的特點，還具有良好的局部唯一性，從而使深度圖可通過混合方案來獲取。具體地，每個解碼條帶內(nèi)的模板為正弦波，可利用傅里葉變換輪廓測定法(Fourier transform profilimetry, FTP)計算包裹相位，然后基于深度圖的局部平滑性和解碼條帶之間多頻率的性質(zhì)準確而快速地進行相位展開，并轉(zhuǎn)化成視差和深度值。此外，對不滿足平滑性的區(qū)域，本文進一步利用模板的局部

7、唯一性，通過空域立體匹配修正其深度值。實驗結(jié)果表明，本文提出的方案對深度值跳變和空間孤立物體等復(fù)雜場景均能準確獲得深度值，并可結(jié)合復(fù)用技術(shù)獲取多視點下的深度圖。
　　然后，深度圖通過測量和計算獲得，其中錯誤難以避免，需要進行檢測；另一方面，無失真的參考深度圖并不存在，所以常見的全參考和部分參考的質(zhì)量評估途徑對深度圖并不適用。針對該問題，本文提出了一種無參考的深度圖質(zhì)量評估方案。該方案以深度圖的物理意義為理論依據(jù)，重點考察深度圖邊緣

8、的幾何扭曲。考慮到參考圖像缺失，該方案從紋理圖和深度圖的相關(guān)性出發(fā)，對深度邊緣和紋理邊緣進行匹配。具體來說，紋理圖和深度圖是場景的兩種表現(xiàn)形式，故二者的邊緣具有很強的相關(guān)性。本文采用了邊緣的空間位置、方向和長度為特征建立邊緣的相似性度量，并以此實現(xiàn)邊緣匹配；同時方案還采用了基于邊緣線段的匹配方法以提高魯棒性。最后，基于兩類邊緣線段之間匹配的結(jié)果，可確定深度圖中的壞點并量化深度圖質(zhì)量。實驗結(jié)果表明，該方案能準確檢測到深度圖的邊緣失真并確定