基于遮擋信息的局部立體匹配算法的研究.pdf

1、視覺是一個古老的研究課題，也是人類觀察和認識世界的重要手段。利用機器來智能地模擬人的視覺功能是人們多年的夢想。視覺生理學(xué)、視覺心理學(xué)，特別是計算機技術(shù)、數(shù)字圖像處理、計算機圖形學(xué)、人工智能等學(xué)科的發(fā)展，使得利用計算機模擬人類雙眼的視覺成為了可能。近年來，計算機視覺(ComputerVision)成為計算機行業(yè)一個重要的研究領(lǐng)域，取得了巨大的進步并且得到了廣泛的應(yīng)用。比如運動目標(biāo)的自動跟蹤與識別、空間機器人的視覺控制以及自主車導(dǎo)航等。

2、r>　　 視覺計算理論是在上世紀80年代初由Marr創(chuàng)立的。這一基本理論使得立體視覺成為計算機視覺的一個重要分支。雙目立體視覺(Binocular Stereo Vision)是計算機視覺的一個非常重要的形式。人時刻處在一個復(fù)雜的三維場景中，我們可以通過雙眼自動地感知場景中所有物體距離我們的遠近。雙目視覺的原理正是在充分理解人類視覺原理的基礎(chǔ)上使用計算機來模擬人類的雙目成像系統(tǒng)。具體來說，是利用成像設(shè)備從不同位置獲取同一個物體的兩幅或

3、更多圖像，通過對兩幅圖像的對應(yīng)點進行匹配，得到每一空間點的視差，來獲取所拍物體的三維幾何信息。
　　 一個雙目視覺算法主要包括三部分：攝像機定標(biāo)、立體匹配和三維重建。攝像機定標(biāo)是確定攝像機投影矩陣的過程。立體匹配是在兩幅輸入圖像中尋找對應(yīng)點，從而得到所有空間點的視差，即深度信息。三維重建是利用匹配結(jié)果提供的深度信息進行三維建模?？梢钥闯隽Ⅲw匹配是雙目視覺算法絕對的核心，在整個重建過程中起到承上啟下的作用。
　　 立體匹配

4、(Stereo Matching)是雙目視覺中公認的最重要和困難的問題。最近二三十年，立體匹配得到了各國計算機視覺研究人員的廣泛關(guān)注和深入研究。該方向的研究已經(jīng)形成了較為規(guī)范的體系并且取得了長足的發(fā)展。目前存在一個規(guī)范的平臺對立體匹配的結(jié)果進行評估，并依據(jù)算法的結(jié)果排名。該平臺很好地促進了各地研究人員的學(xué)術(shù)交流和立體匹配的發(fā)展。
　　 根據(jù)視差估計的準(zhǔn)則不同，立體匹配算法分為全局算法和局部算法兩大類。從實現(xiàn)的結(jié)構(gòu)上，匹配算法通常

5、包括四個步驟[1]：1、匹配費用計算，2、匹配費用聚合，3、視差值計算＼優(yōu)化，4、視差改良。全局算法把對應(yīng)點的匹配問題轉(zhuǎn)化為一個能量函數(shù)的全局最優(yōu)問題。局部算法通過比較像素鄰域窗口內(nèi)顏色值的相關(guān)性來尋找對應(yīng)點。一般說來，全局算法比局部算法精度更高，但是由于局部算法結(jié)構(gòu)簡單，易于實現(xiàn)，而且速度更快，反而在實際應(yīng)中得到青睞?，F(xiàn)在隨著自適應(yīng)權(quán)重思想[2]的引入，局部算法的精度越來越高，有些算法的效果甚至優(yōu)于大部分全局算法。
　　 立體

6、匹配問題存在幾個研究的重點和難點，比如光學(xué)失真、低紋理、重復(fù)紋理、遮擋問題。遮擋是其中最嚴重的一個，不僅被遮擋的點難以得到正確的視差值，它還會給遮擋區(qū)域附近的點的匹配帶來負面效果，這就是著名的前景膨脹(Fore ground Fattening)。研究人員十分重視遮擋問題的研究，仍然不夠理想。特別是在局部立體匹配算法中，大部分算法都只是采取了簡單的后續(xù)遮擋填補方案。這種基于左右一致性檢測的方案不但不能保證在任何時候都有好的效果，而且作為

7、一種雙向的后續(xù)處理，不夠優(yōu)雅。綜上所述，遮擋問題既是局部匹配方法中的關(guān)鍵問題，又是仍未得到很好解決的難點問題。
　　 本文的研究主要圍繞遮擋問題展開，研究目標(biāo)是為局部立體匹配中的遮擋處理這一難點的解決提供新的思路和新的方法，從而得到精度更高的視差圖，獲得更豐富的三維信息。這對計算機視覺相關(guān)理論的研究和機器人視覺、三維測量等實際應(yīng)用都有著重要的理論意義和實用價值。本文的主要工作包括：
　　 1、根據(jù)局部算法的核心--費用聚

8、合方法把局部算法分成三類。該分類清晰地反映出局部算法的發(fā)展史，并能夠體現(xiàn)出局部算法未來的發(fā)展趨勢。
　　 2、遮擋檢測的理論和技術(shù)研究；由遮擋帶來的前景膨脹問題的理論分析和解決方法；提出遮擋點在匹配時不應(yīng)該占有支持權(quán)的理論；將遮擋信息與目前最先進的自適應(yīng)權(quán)重算法結(jié)合，提出了一種基于遮擋權(quán)重的局部算法。
　　 該算法提供了一種把遮擋處理與局部算法的核心無縫結(jié)合的途徑。它能較好地克服遮擋點不存在對應(yīng)點的困難，為遮擋點估計出更