高質(zhì)量的虛擬視點(diǎn)繪制方法研究.pdf

1、多視點(diǎn)視頻需要在客戶端產(chǎn)生多個(gè)視點(diǎn)以提供豐富的視覺體驗(yàn)，因此加大了對(duì)視頻信息的采集，壓縮，及傳輸?shù)囊蟆H使用傳輸各個(gè)視點(diǎn)的方法以滿足客戶端的需求并不現(xiàn)實(shí)，因此需要虛擬視點(diǎn)繪制技術(shù)，傳輸少量視點(diǎn)視頻，在客戶端繪制出多個(gè)視點(diǎn)。繪制的虛擬視點(diǎn)質(zhì)量的好壞決定了多視點(diǎn)視頻系統(tǒng)的好壞，因此虛擬視點(diǎn)繪制技術(shù)是多視點(diǎn)視頻中較為關(guān)鍵的技術(shù)之一。目前應(yīng)用較為廣泛的是基于深度圖的虛擬視點(diǎn)繪制技術(shù)，其包含3D-warping，空洞填補(bǔ)，圖像融合等過程。本文主

2、要針對(duì)這三個(gè)過程，分析虛擬視點(diǎn)繪制軟件（VSRS，View Synthesis Reference Software）中的不足，并提出了相應(yīng)的改進(jìn)算法。
　?。?）VSRS在融合過程中僅使用同一個(gè)加權(quán)值，并不能使虛擬視點(diǎn)質(zhì)量達(dá)到最佳。提出了一個(gè)基于機(jī)器學(xué)習(xí)的圖像融合方法，根據(jù)繪制過程中獲得的特征值與標(biāo)簽訓(xùn)練建立的分類器模型，得到不同位置上的像素點(diǎn)的加權(quán)值。實(shí)驗(yàn)結(jié)果表明該方法能夠提高客觀質(zhì)量，最高能提高0.17dB，對(duì)相機(jī)距離較大的

3、情況，客觀質(zhì)量的提高較大，并且主觀質(zhì)量也有所改善。
　?。?）由于深度信息的不準(zhǔn)確，在3D-warping過程中會(huì)因?yàn)樯疃仁д娑a(chǎn)生錯(cuò)誤的映射，從而造成虛擬視點(diǎn)的失真。對(duì)于該問題，提出了一個(gè)先進(jìn)的3D-warping方法。每次將兩個(gè)點(diǎn)映射到虛擬視點(diǎn)上，然后選取兩個(gè)映射點(diǎn)中間的整像素點(diǎn)，根據(jù)提出的線性移不變插值方法，插值獲得選取的整像素點(diǎn)。實(shí)驗(yàn)結(jié)果表明，虛擬視點(diǎn)客觀質(zhì)量最高能提高0.94dB，主觀質(zhì)量得到較大的改善。
　?。?

4、）在虛擬視點(diǎn)繪制過程中，如果深度信息不準(zhǔn)確，會(huì)造成空洞的偏移?？斩吹钠圃斐煽斩催吘墔^(qū)域像素映射的不準(zhǔn)確。本文提出了一個(gè)考慮到空洞周圍信息的空洞填補(bǔ)算法。根據(jù)空洞周圍區(qū)域彩色與深度信息來擴(kuò)大空洞，最終使用另一個(gè)參考視點(diǎn)繪制的虛擬視點(diǎn)來填補(bǔ)，以修正這些區(qū)域。實(shí)驗(yàn)結(jié)果表明，雖然在客觀質(zhì)量上提高的不明顯，但是對(duì)于一些序列主觀質(zhì)量有所改善。由于VSRS對(duì)于小空洞的填補(bǔ)使用的濾波方式較為簡單，在一些區(qū)域使得虛擬視點(diǎn)主觀質(zhì)量大幅下降。因此提出了一種