面向增強(qiáng)現(xiàn)實(shí)的實(shí)時(shí)三維跟蹤.pdf

1、隨著計(jì)算機(jī)運(yùn)算能力的不斷增強(qiáng)，計(jì)算機(jī)視覺(jué)研究得到了持續(xù)的發(fā)展，在監(jiān)控、檢索、識(shí)別、導(dǎo)航、醫(yī)療、教育等領(lǐng)域的應(yīng)用為人的視覺(jué)提供有效的補(bǔ)充，甚至在某些方面很好地替代了人的視覺(jué)。虛實(shí)混合作為計(jì)算機(jī)視覺(jué)的重要應(yīng)用之一，是通過(guò)特殊的設(shè)備，將計(jì)算機(jī)產(chǎn)生的虛擬信息與現(xiàn)實(shí)環(huán)境無(wú)縫融合，給人們提供額外的信息，如說(shuō)明文字、視頻教程、三維動(dòng)畫(huà)等。本文涉及的增強(qiáng)現(xiàn)實(shí)是虛實(shí)混合技術(shù)的一種，利用相關(guān)計(jì)算機(jī)視覺(jué)技術(shù)分析現(xiàn)實(shí)場(chǎng)景中的物體和環(huán)境特征，并在指定的位置繪制計(jì)

2、算機(jī)生成的附屬信息，幫助人們更好地理解場(chǎng)景。一般的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，包括視頻輸入、特征分析、攝像機(jī)定位、虛實(shí)融合等模塊，其中特征分析和攝像機(jī)定位是最核心的模塊。離線增強(qiáng)現(xiàn)實(shí)已經(jīng)在電影工業(yè)，視頻廣告中得到廣泛應(yīng)用，然而實(shí)時(shí)增強(qiáng)現(xiàn)實(shí)更多地處在實(shí)驗(yàn)階段。本文主要研究實(shí)時(shí)增強(qiáng)現(xiàn)實(shí)的三維跟蹤技術(shù)，即實(shí)時(shí)地恢復(fù)攝像機(jī)與場(chǎng)景之間的相對(duì)空間方位。內(nèi)容包括多線程技術(shù)框架設(shè)計(jì)、圖像特征分析、大規(guī)模場(chǎng)景的關(guān)鍵幀表達(dá)、和純旋轉(zhuǎn)相機(jī)下的雙層分割方法。總體來(lái)說(shuō)，本文希

3、望能促進(jìn)實(shí)時(shí)三維跟蹤技術(shù)在增強(qiáng)現(xiàn)實(shí)中的應(yīng)用，主要貢獻(xiàn)在以下幾個(gè)方面。
　　 ⑴提出統(tǒng)一的實(shí)時(shí)增強(qiáng)現(xiàn)實(shí)系統(tǒng)框架。在關(guān)鍵技術(shù)充分模塊化，模塊接口標(biāo)準(zhǔn)化的基礎(chǔ)上，將各種現(xiàn)實(shí)環(huán)境下的增強(qiáng)現(xiàn)實(shí)統(tǒng)一在一個(gè)多線程并行框架里，用戶可以便捷地在此基礎(chǔ)上開(kāi)發(fā)新的增強(qiáng)現(xiàn)實(shí)應(yīng)用，而且這個(gè)框架充分利用了多核機(jī)器的計(jì)算能力，使系統(tǒng)在適應(yīng)各種復(fù)雜環(huán)境的情況下保證高效可靠的性能。
　　 ⑵提出改進(jìn)的基準(zhǔn)標(biāo)志系統(tǒng)。在一些桌面增強(qiáng)現(xiàn)實(shí)應(yīng)用中，系統(tǒng)不能從自然

4、場(chǎng)景中提取足夠的特征定位攝像機(jī)，必須輔以基準(zhǔn)標(biāo)志。本文提出的基準(zhǔn)標(biāo)志是包圍在黑色方框中的漢字圖像。為了在復(fù)雜的光影下也能穩(wěn)定地檢測(cè)出標(biāo)志，系統(tǒng)利用邊緣信息檢測(cè)標(biāo)志的包圍框。同時(shí)，本文將漢字的結(jié)構(gòu)表達(dá)為漢字輪廓到邊框的距離場(chǎng)，增加了漢字標(biāo)志的可識(shí)別度。另一方面，傳統(tǒng)的基準(zhǔn)標(biāo)志一般是黑白圖案，從視覺(jué)上看很不美觀，本文于是利用自然圖像作為基準(zhǔn)標(biāo)志的補(bǔ)充。
　　 ⑶提出基于關(guān)鍵幀的場(chǎng)景表達(dá)和快速選擇候選關(guān)鍵幀方法。在大規(guī)模自然場(chǎng)景中，系

5、統(tǒng)利用Structure-from-Motion技術(shù)從預(yù)處理視頻序列中恢復(fù)場(chǎng)景的稀疏三維點(diǎn)云。由于大規(guī)模場(chǎng)景的特征過(guò)于豐富，特征匹配在時(shí)間和數(shù)量上的性能都會(huì)明顯下降。本文通過(guò)貪婪優(yōu)化方法，從輸入預(yù)處理視頻序列中自動(dòng)選擇一些關(guān)鍵幀，這些關(guān)鍵幀將包含比較穩(wěn)定的，特征明顯的三維特征點(diǎn)。三維跟蹤通過(guò)圖像識(shí)別算法，為輸入圖像選擇相似的候選關(guān)鍵幀，然后只跟候選關(guān)鍵幀進(jìn)行特征匹配。為了獲得更穩(wěn)定的跟蹤結(jié)果，本文還利用極線約束，連續(xù)幀跟蹤等方法匹配更多

6、特征點(diǎn)。
　　 ⑷提出攝像機(jī)純旋轉(zhuǎn)運(yùn)動(dòng)下，快速穩(wěn)定地分離前景背景物體的方法。由于場(chǎng)景和攝像機(jī)運(yùn)動(dòng)的雙重復(fù)雜性，場(chǎng)景層次分割是處理增強(qiáng)現(xiàn)實(shí)中的虛實(shí)遮擋的重要方法，同時(shí)也是非常難解決的問(wèn)題。本文嘗試解決在攝像機(jī)只有旋轉(zhuǎn)運(yùn)動(dòng)情況下前背景之間的遮擋，這事實(shí)上是一個(gè)前背景分割問(wèn)題。系統(tǒng)首先建立背景的全景圖，然后將實(shí)時(shí)輸入圖像與背景全景圖配準(zhǔn)，估計(jì)背景信息，并利用圖割算法進(jìn)行分割。針對(duì)復(fù)雜背景和背景配準(zhǔn)誤差，本文結(jié)合過(guò)分割方法對(duì)背景全景圖建