基于無人機(jī)視覺的場(chǎng)景感知方法研究.pdf

1、近年米，無人機(jī)特別是小型化無人機(jī)，在軍事和民用兩方面都有著越來越廣泛的應(yīng)用。傳統(tǒng)利用全球定位系統(tǒng)和慣性系統(tǒng)的導(dǎo)航方法經(jīng)過幾十年的發(fā)展，已經(jīng)能夠完成姿態(tài)估計(jì)，航線規(guī)劃等任務(wù)，但隨著任務(wù)環(huán)境和任務(wù)本身變的越來越復(fù)雜，基于視覺信息的場(chǎng)景感知成為無人機(jī)能夠高效安全的執(zhí)行任務(wù)的前提，越來越受到研究人員的關(guān)注。
　　本文主要研究計(jì)算機(jī)視覺在無人機(jī)場(chǎng)景感知應(yīng)用中的關(guān)鍵技術(shù)，利用可見光相機(jī)，深度相機(jī)和事件相機(jī)(Event-based camera

2、)等多種視覺傳感器，結(jié)合傳感器的特點(diǎn)，對(duì)場(chǎng)景三維重建，實(shí)時(shí)深度估計(jì)，對(duì)象檢測(cè)定位技術(shù)開展研究。
　　本文主要工作和貢獻(xiàn)如下:
　　1.針對(duì)無人機(jī)場(chǎng)景三維重建，根據(jù)目前無人機(jī)圖像三維重建的實(shí)際需求，對(duì)于傳統(tǒng)三維重建關(guān)鍵幀方法處理效率低，篩選準(zhǔn)則偏啟發(fā)式，魯棒性低的問題，提出一種適合航拍圖像場(chǎng)景三維重建的分層并行化關(guān)鍵幀篩選技術(shù)。該技術(shù)同時(shí)考慮圖像獲取，相機(jī)姿態(tài)估計(jì)以及稀疏重建過程。初略篩選快速去除重疊率低、圖像質(zhì)量差的圖像，并

3、利用重定位克服運(yùn)動(dòng)模糊造成的特征丟失等實(shí)際問題。精細(xì)篩選能夠去除重復(fù)幀，保證相機(jī)姿態(tài)及空間點(diǎn)云的精度。本文方法在實(shí)際的室外場(chǎng)景數(shù)據(jù)集中進(jìn)行了測(cè)試，實(shí)驗(yàn)表明，相比于以往的三維重建關(guān)鍵幀方法，本文方法夠?qū)崟r(shí)的進(jìn)行關(guān)鍵幀的篩選，同時(shí)提升了三維重建的精度和實(shí)際實(shí)用中的魯棒性。
　　2.針對(duì)快速運(yùn)動(dòng)場(chǎng)景下的實(shí)時(shí)深度估計(jì)任務(wù)，傳統(tǒng)圖像幀相機(jī)的實(shí)時(shí)性能和光照魯棒性較弱的問題，本文提出了一種基于事件相機(jī)(Event-based Camera)的雙

4、目深度估計(jì)框架，充分發(fā)揮事件相機(jī)時(shí)間分辨率高，信息冗余低，能夠應(yīng)對(duì)復(fù)雜的光照環(huán)境的特點(diǎn)。算法框架由事件預(yù)處理，匹配代價(jià)計(jì)算，代價(jià)優(yōu)化和深度輸出四部分組成。其中代價(jià)優(yōu)化是深度估計(jì)的核心，本文提出了兩種事件驅(qū)動(dòng)的優(yōu)化方法，分別基于傳統(tǒng)的置信傳播(Belief Propagation)和半全局匹配(Semi-global Matching)，重新定義了適合事件相機(jī)的代價(jià)函數(shù)和代價(jià)優(yōu)化過程。本文設(shè)計(jì)實(shí)現(xiàn)了雙目事件相機(jī)系統(tǒng)，采集了不同場(chǎng)景下的雙目

5、事件相機(jī)數(shù)據(jù)集。實(shí)驗(yàn)表明，與以往的基于事件相機(jī)的雙目深度估計(jì)方法相比，本文方法具有檢測(cè)精度高，魯棒性好的優(yōu)勢(shì);和傳統(tǒng)可見光相機(jī)雙目深度估計(jì)方法對(duì)比，本文方法具有深度一致性好，不受光照和運(yùn)動(dòng)模糊影響，同時(shí)處理效率高的優(yōu)點(diǎn)。
　　3.針對(duì)對(duì)象的檢測(cè)和定位任務(wù)，傳統(tǒng)二維的顏色信息和對(duì)象邊緣信息不能夠很好的解決復(fù)雜場(chǎng)景的問題，本文引入三維深度信息來克服單獨(dú)使用彩色信息的對(duì)象檢測(cè)方法的不足。本文利用三維信息，構(gòu)造了三種新的局部多模態(tài)線索，分

6、別是多模態(tài)多尺度顯著性(Multimodal multi-scale saliency，MMS)、多模態(tài)過分割跨度(Multimodal oversegment straddling，MOS)和深度密度(Ring density of depth，RDD)，同時(shí)整合深度直方圖和Gist描述作為全局線索，用來獲得對(duì)象的數(shù)量和位置。最終將以上局部線索和全局線索表達(dá)在統(tǒng)一的貝葉斯模型中。由于使用了多模態(tài)線索和全局線索，本文算法在公共數(shù)據(jù)集的試