DIBR系統(tǒng)中空洞填充技術(shù)研究.pdf

1、近年來(lái)，3D電影因其逼真的立體效果吸引了無(wú)數(shù)的粉絲。但是傳統(tǒng)的3D視頻(3D video)制作方法成本高、耗時(shí)長(zhǎng)，限制了3D電影的普及。而基于深度圖像繪制(depth-image-based rendering, DIBR)的方法可以低成本、快速地得到3D視頻，因而被視為可以用來(lái)取代傳統(tǒng)的3D視頻制作的首選方法。但是，通過該方法合成的虛擬視圖(virtual view)中有大量的空洞?？斩船F(xiàn)象嚴(yán)重影響了合成視圖(synthesized

2、view)的質(zhì)量，甚至?xí)l(fā)觀眾的視覺疲勞（visual fatigue）。高質(zhì)量地填充空洞是DIBR技術(shù)中亟待解決的關(guān)鍵問題。
　　本文的研究目的是高質(zhì)量地填充DIBR系統(tǒng)合成視圖中的空洞，促進(jìn)DIBR技術(shù)在3D視頻制作中的應(yīng)用。
　　論文針對(duì)兩路“參考圖像+深度圖”(“reference image+depth map”)的情況，研究了空洞產(chǎn)生的機(jī)理，提出了一種修正的不產(chǎn)生空洞的攝像機(jī)設(shè)置方法。針對(duì)一路“參考圖像+深度圖

3、”的情況，分析了空洞邊緣前景和背景像素的特點(diǎn)，提出了一種基于超像素(superpixel)的空洞填充(hole-filling)算法；為了克服基于超像素的空洞填充（hole-filling）算法的缺陷，給出了改進(jìn)的基于圖像修復(fù)(image inpainting)的空洞填充算法。
　　論文主要包含以下研究成果：
　?、僭陔p向DIBR技術(shù)(double-sided DIBR technique)的基礎(chǔ)上，提出了一種修正的不產(chǎn)生空

4、洞的攝像機(jī)設(shè)置方法。論文通過分析兩種場(chǎng)景中空洞產(chǎn)生的機(jī)理，得出如下結(jié)論：在“背景-前景-背景”的場(chǎng)景中，不管攝像機(jī)參數(shù)如何設(shè)置，最終得到的虛擬視圖均不含空洞；在“前景-背景-前景”的場(chǎng)景中，通過設(shè)置攝像機(jī)基線長(zhǎng)度可以讓最終得到的虛擬視圖不含空洞。下一步的研究重點(diǎn)是推導(dǎo)出在非平行攝像機(jī)設(shè)置下不產(chǎn)生空洞的攝像機(jī)設(shè)置方法。
　?、谟捎诳斩葱枰帽尘跋袼厝ヌ畛?，本論文提出了一種基于超像素的空洞填充算法。該算法首先利用SLIC超像素（SLI

5、C-superpixel）算法分割虛擬視圖，然后提取虛擬視圖的單邊邊緣，并進(jìn)行優(yōu)先級(jí)計(jì)算，最后用分割得到的超像素作為最高優(yōu)先級(jí)塊的匹配塊(matching patch)去填充空洞。實(shí)驗(yàn)結(jié)果顯示該方法能夠準(zhǔn)確的區(qū)分前景和背景，同時(shí)對(duì)于紋理結(jié)構(gòu)簡(jiǎn)單的圖像能夠取得很好的填充結(jié)果，但是對(duì)于兩邊都是前景的空洞，該算法會(huì)產(chǎn)生偽像(artifacts)。
　　③針對(duì)基于超像素的空洞填充算法的缺陷，本論文提出了一種改進(jìn)的基于圖像修復(fù)的空洞填充算法

6、。該算法首先采用基于視差圖（disparity map）的空洞填充算法來(lái)填充空洞兩邊都是前景的空洞，然后采用改進(jìn)的基于圖像修復(fù)的空洞填充算法來(lái)填充剩余的空洞，其步驟為：首先設(shè)置標(biāo)簽來(lái)標(biāo)記圖像邊緣空洞的位置，并提取出空洞的單邊邊緣，然后采用改進(jìn)的優(yōu)先級(jí)計(jì)算方法來(lái)計(jì)算空洞邊緣的優(yōu)先級(jí)，最后利用“夾逼(squeeze)”的方法來(lái)確定匹配塊的搜索范圍。實(shí)驗(yàn)結(jié)果表明該算法能夠用來(lái)填充空洞兩邊都是前景的空洞以及不同零視差設(shè)置(zero-parall