基于多視圖幾何的車輛視覺感知與控制.pdf

1、在機(jī)器人和智能車輛的自主導(dǎo)航過程中，需要對(duì)自身狀態(tài)以及周圍環(huán)境信息進(jìn)行實(shí)時(shí)感知，并以此作為反饋信息進(jìn)行控制。相比于其他傳感器，視覺傳感器具有較大的信息量和較低的成本，對(duì)環(huán)境具有更強(qiáng)的表征能力，從而提高了系統(tǒng)的靈活性。然而，圖像空間是三維物理空間的降維表示，在成像過程中丟失了深度信息，并且受到圖像噪聲、環(huán)境光照等多方面因素的影響，因而在感知中需要更復(fù)雜的處理過程得到需要的信息，在控制器設(shè)計(jì)中也需要充分考慮到視覺系統(tǒng)中的模型不確定性和約束，

2、從而保證視覺伺服系統(tǒng)的穩(wěn)定高效運(yùn)行。本文中針對(duì)智能車輛的視覺感知與控制任務(wù)，利用基于多視圖幾何的建模方法對(duì)場(chǎng)景信息和自身狀態(tài)進(jìn)行描述，進(jìn)而從冗余、高維的圖像信息中抽象出可以直接用于感知和控制的幾何信息，并基于此設(shè)計(jì)相關(guān)的感知與控制算法，主要研究成果如下:
　　針對(duì)兩視圖幾何中單應(yīng)性和對(duì)極幾何各自存在的局限性，提出了基于參考平面的兩視圖幾何模型，通過參考平面和投影視差來描述平面和非平面的場(chǎng)景，尤其適合于實(shí)際中的道路場(chǎng)景，相比于對(duì)極幾

3、何模型很大程度上減小了視圖間匹配的搜索空間。
　　基于兩視圖幾何模型，針對(duì)一般性的道路場(chǎng)景提出了基于迭代優(yōu)化的幾何重構(gòu)算法，將道路場(chǎng)景重構(gòu)為相對(duì)于參考平面的高度和坐標(biāo)信息，基于兩視圖幾何模型提出了相應(yīng)的初值設(shè)置策略，從而保證了優(yōu)化算法的收斂性和魯棒性，較好地處理了道路場(chǎng)景中普遍存在的弱紋理和重復(fù)紋理的問題。基于重構(gòu)的結(jié)果可以方便地進(jìn)行可駕駛道路區(qū)域的識(shí)別。
　　針對(duì)復(fù)雜光照下的室外道路場(chǎng)景，提出了基于相機(jī)成像模型的光照不變圖

4、像變換算法，從而去除圖像中陰影的效果，恢復(fù)出陰影區(qū)域內(nèi)的紋理信息。相比于以往道路識(shí)別中常用的光照不變算法（單通道灰度圖像），提出的算法在保證陰影去除效果的同時(shí)保留了更多的紋理和顏色信息（三通道顏色圖像），并且具有同等的計(jì)算復(fù)雜度。
　　提出基于兩視圖幾何的分行遞歸算法進(jìn)行道路重構(gòu)，針對(duì)每個(gè)圖像行交互進(jìn)行幾何重構(gòu)和道路識(shí)別:幾何重構(gòu)中利用了上一行的道路識(shí)別結(jié)果構(gòu)造道路邊緣的先驗(yàn)概率分布并確定感興趣區(qū)域，從而在提高幾何重構(gòu)精度的同時(shí)降

5、低了計(jì)算復(fù)雜度;道路識(shí)別中利用了幾何重構(gòu)得到的幾何信息分布和圖像像素分布，并結(jié)合上一行的道路識(shí)別結(jié)果進(jìn)行道路的分割。相比于傳統(tǒng)的針對(duì)整個(gè)圖像先重構(gòu)再識(shí)別的思路，提出的算法只需要對(duì)道路存在的區(qū)域進(jìn)行處理，從而具有更高的運(yùn)算效率。
　　針對(duì)車輛的單目視覺軌跡跟蹤任務(wù)，提出了基于三焦張量的尺度化位姿估計(jì)算法;常規(guī)的視覺伺服跟蹤控制中為了得到全局連續(xù)一致的尺度化位姿信息往往要求軌跡的初始視圖與最終視圖有足夠的匹配信息（相機(jī)視野約束），文中

6、提出了基于關(guān)鍵幀的策略，通過關(guān)鍵幀的選擇和位姿變換算法在不需要初始視圖與最終視圖有匹配信息的情況下得到了更加精確和魯棒的全局尺度化位姿信息，從而大大擴(kuò)展了系統(tǒng)的工作空間。
　　針對(duì)非完整約束車輛的單目視覺軌跡跟蹤/位姿調(diào)節(jié)任務(wù)，基于估計(jì)的尺度化位姿信息提出了自適應(yīng)控制策略，設(shè)計(jì)了時(shí)變參數(shù)的控制律同時(shí)解決了非完整約束下的軌跡跟蹤和位姿調(diào)節(jié)問題，并通過自適應(yīng)更新律在線估計(jì)位姿信息中未知尺度信息和相機(jī)外參信息（在車輛上的未知安裝位置），