視頻場(chǎng)景的重建與增強(qiáng)處理.pdf

1、如何利用計(jì)算機(jī)技術(shù)高效逼真地表達(dá)虛擬和真實(shí)的世界，實(shí)現(xiàn)真實(shí)世界與虛擬世界的高度互動(dòng)和融合，是混合現(xiàn)實(shí)的核心問(wèn)題。隨著研究對(duì)象復(fù)雜程度的日益提高，采用正向三維建模并進(jìn)行繪制的方式在真實(shí)性、計(jì)算效率和交互的自然性等方面遇到了巨大的挑戰(zhàn)。鑒于圖像、視頻等視覺(jué)信息易于直接從真實(shí)世界中獲取，而計(jì)算機(jī)視覺(jué)技術(shù)又能夠幫助從中提取和構(gòu)建符合人類視覺(jué)感知規(guī)律的計(jì)算模型，這有效彌補(bǔ)了基于理想數(shù)學(xué)物理模型的傳統(tǒng)圖形處理技術(shù)的缺陷。因此，目前計(jì)算機(jī)視覺(jué)與計(jì)算機(jī)

2、圖形學(xué)這兩個(gè)學(xué)科在相互交叉融合。
　　 基于上述研究背景，本學(xué)位論文主要研究如何從真實(shí)拍攝的視頻數(shù)據(jù)中恢復(fù)出三維幾何和運(yùn)動(dòng)信息并進(jìn)行重用，包括攝像機(jī)參數(shù)、深度和光流等信息的高精度恢復(fù)以及視頻場(chǎng)景的層次結(jié)構(gòu)估計(jì)等，有效解決了基于視頻的混合現(xiàn)實(shí)創(chuàng)作中面臨的幾何一致性、光照一致性和遮擋一致性等問(wèn)題，促進(jìn)了計(jì)算機(jī)視覺(jué)與計(jì)算機(jī)圖形學(xué)的交叉融合?？傮w而言，本論文主要貢獻(xiàn)如下：
　　 ●提出了一個(gè)高效魯棒的基于視頻序列的攝像機(jī)跟蹤技術(shù)

3、框架。特別針對(duì)變化焦距的長(zhǎng)序列求解不穩(wěn)定、效率低等問(wèn)題，提出了初始幀選取優(yōu)化、最佳自定標(biāo)時(shí)機(jī)選擇以及集束調(diào)整局部化等策略，極大地提高了求解的效率和穩(wěn)定性。在此基礎(chǔ)上，針對(duì)存在循環(huán)回路的長(zhǎng)序列的運(yùn)動(dòng)推斷結(jié)構(gòu)過(guò)程中容易出現(xiàn)的漂移問(wèn)題，我們提出了一個(gè)非連續(xù)特征跟蹤算法，能夠快速自動(dòng)地找出具有相同內(nèi)容的非連續(xù)幀進(jìn)行匹配，并以此將分布在不同子序列上的同名特征軌跡合并，從而可以提高結(jié)構(gòu)和運(yùn)動(dòng)恢復(fù)的精度，避免漂移問(wèn)題?；谶@些研究成果，我們研發(fā)了一個(gè)

4、基于視頻序列的攝像機(jī)跟蹤系統(tǒng)，其對(duì)變焦長(zhǎng)序列的求解性能優(yōu)于國(guó)際著名商業(yè)軟件“Boujou Three”。
　　 ●提出了一個(gè)基于視頻序列的稠密深度恢復(fù)算法。創(chuàng)造性地提出在多視圖立體深度恢復(fù)中采用集束優(yōu)化方法，在統(tǒng)一的框架下將噪聲、遮擋和Outlier以多幀統(tǒng)計(jì)的方式進(jìn)行高效處理，很好地解決了噪聲和遮擋對(duì)深度估計(jì)的影響，恢復(fù)的深度圖不僅具有很好的時(shí)域一致性，而且在不連續(xù)邊界的深度恢復(fù)方面取得了重要突破。在此基礎(chǔ)上，我們提出了一個(gè)多

5、道置信度傳播(Belief Propagation)優(yōu)化算法，可以在不需要增加很多計(jì)算代價(jià)的條件下有效地?cái)U(kuò)展全局優(yōu)化中的深度級(jí)數(shù)，從而提高深度恢復(fù)的精度。高質(zhì)量的深度恢復(fù)直接推動(dòng)了很多相關(guān)應(yīng)用的發(fā)展，并為復(fù)雜的視頻編緝處理奠定了基礎(chǔ)。
　　 ●提出了一個(gè)自動(dòng)高效的無(wú)需稠密三維恢復(fù)的單目視頻立體化技術(shù)，極大便利了立體視頻的創(chuàng)作。通過(guò)創(chuàng)造性地將視頻立體化問(wèn)題轉(zhuǎn)化為一個(gè)非線性能量?jī)?yōu)化問(wèn)題，并對(duì)立體感、相似度和光滑度進(jìn)行綜合優(yōu)化，實(shí)現(xiàn)了

6、無(wú)需稠密三維恢復(fù)的單日視頻到立體視頻的自動(dòng)轉(zhuǎn)化。
　　 ●提出了一個(gè)半自動(dòng)的視頻再創(chuàng)作技術(shù)框架。該框架可以將各種視頻資源有效地利用起來(lái)，通過(guò)對(duì)視頻數(shù)據(jù)中蘊(yùn)含的三維幾何、運(yùn)動(dòng)和層次結(jié)構(gòu)等高維信息的分析和估計(jì)，解決了基于視頻的混合現(xiàn)實(shí)創(chuàng)作中所面臨的幾何一致性、光照一致性和遮擋一致性等問(wèn)題。特別地，針對(duì)運(yùn)動(dòng)物體和靜態(tài)場(chǎng)景的不同特性，分別提出了一個(gè)基于深度恢復(fù)和光流估計(jì)的運(yùn)動(dòng)物體抽取方法和基于深度恢復(fù)的靜態(tài)場(chǎng)景快速分層方法，極大地提高了