Kinect數(shù)據(jù)修復(fù)方法研究及其在立體視頻中的應(yīng)用.pdf

1、遠(yuǎn)程視頻的出現(xiàn)極大地方便了現(xiàn)代人們之間的相互溝通，而立體視覺(jué)技術(shù)的發(fā)展使得視頻交流的效果有了很大的上升空間。在Kinect的革命性發(fā)明之后，深度獲取就不那么昂貴了，由 Kinect的數(shù)據(jù)構(gòu)建立體模型，進(jìn)而實(shí)現(xiàn)立體視頻會(huì)議系統(tǒng)是一種切實(shí)可行的方法。但是對(duì)于計(jì)算機(jī)視覺(jué)應(yīng)用來(lái)說(shuō)，由 Kinect捕獲的深度數(shù)據(jù)需要額外的處理來(lái)填補(bǔ)丟失的部分，進(jìn)一步講，使用 Kinect數(shù)據(jù)重建三維模型過(guò)程中，由于視角的變換，彩色數(shù)據(jù)的缺失也需要在最終顯示前進(jìn)行

2、修補(bǔ)。本文首先研究了 Kinect構(gòu)建立體數(shù)據(jù)的方法；然后針對(duì)立體數(shù)據(jù)中各種原因的缺失進(jìn)行修復(fù)，分別用結(jié)構(gòu)導(dǎo)向的框架修復(fù)了深度數(shù)據(jù)以及用快速行進(jìn)的方法修復(fù)了彩色數(shù)據(jù)；最后設(shè)計(jì)了一套立體視頻會(huì)議系統(tǒng)，并將修復(fù)算法應(yīng)用其中，同時(shí)研究了多種加速策略來(lái)提高立體視頻的播放幀率。
　　在進(jìn)行深度數(shù)據(jù)的修復(fù)時(shí)，因?yàn)闆](méi)有足夠的信息來(lái)對(duì)場(chǎng)景結(jié)構(gòu)做出準(zhǔn)確的推斷，針對(duì)彩色圖像的傳統(tǒng)修復(fù)方法并不能直接應(yīng)用于深度圖像。本文提出了一種新的結(jié)構(gòu)導(dǎo)向的修復(fù)方法來(lái)

3、提高深度圖像的修復(fù)質(zhì)量。這種修復(fù)策略結(jié)合了傳統(tǒng)方法和最近發(fā)展起來(lái)的非局部濾波方案。在待參考點(diǎn)的選取上，提出了一種在8個(gè)方向上有間距的選取方法，可以很好的體現(xiàn)待修補(bǔ)點(diǎn)周?chē)牟噬畔⒑蜕疃忍卣?。距離、深度、顏色三種參考信息之間良好的平衡保證了修復(fù)效果。實(shí)驗(yàn)結(jié)果上，無(wú)論是主觀視覺(jué)的評(píng)價(jià)，還是客觀定量的誤差評(píng)估，都證實(shí)了該修復(fù)框架的有效性。
　　立體視覺(jué)的一個(gè)典型應(yīng)用就是立體視頻會(huì)議系統(tǒng)，本文在對(duì)立體數(shù)據(jù)進(jìn)行修復(fù)之后，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)利用

4、左右分屏3D電視以及 Kinect設(shè)備進(jìn)行三維遠(yuǎn)程視頻會(huì)議的系統(tǒng)。系統(tǒng)中首先需要解決的是設(shè)計(jì)穩(wěn)定高效的設(shè)備驅(qū)動(dòng)模塊，它要在不同的平臺(tái)上以相同的格式向上層模塊提供穩(wěn)定的數(shù)據(jù)流，OpenNI具備這樣的特性。為了讓后臺(tái)的修復(fù)算法與前端的界面顯示都能流暢的運(yùn)行，多線程是不可缺少的，本文采用了固定大小的循環(huán)緩沖區(qū)來(lái)實(shí)現(xiàn)各個(gè)模塊的各個(gè)線程之間的數(shù)據(jù)共享，實(shí)際的運(yùn)行效果證明這個(gè)高速緩沖區(qū)模塊可以很好的平衡多線程并發(fā)編程中常見(jiàn)的線程安全性問(wèn)題和運(yùn)行效率