單目交通視頻場景流估計及其增強現(xiàn)實的研究.pdf

1、從圖像中得到相機成像環(huán)境的幾何結(jié)構(gòu)和場景中物體的運動信息一直是計算機視覺的研究核心之一。視頻作為連續(xù)圖像的集合，在提供了圖像已有色彩信息外，還為目前的圖像算法提供了幾何與時間約束。隨著無人駕駛技術(shù)的發(fā)展，在定位或測距信息之外，基于攝像頭的場景理解和運動識別可從另一個維度指導行車，于是結(jié)合相機信息的單目交通視頻處理，成為了目前圖像算法研究的重點。
　　通過研究單目相機針孔模型，標定得到相機參數(shù)，結(jié)合成像過程中的坐標變換，可以得到世界

2、空間點和圖像空間像素的對應關(guān)系。本文針對目前無人駕駛的需求，結(jié)合單目交通視頻的特性和相機成像流程，展開如下研究：
　　由于目前無人駕駛需要大量包括空間物體運動信息在內(nèi)的環(huán)境感知數(shù)據(jù)，本文結(jié)合單目標定矩陣和相機外參，提出單目動態(tài)相機的場景流估計算法，為空間運動分割和包圍盒碰撞檢測提供點云位置和運動域信息。算法首先根據(jù)視頻的時空一致性提出三個重要假設，公式化為能量泛函的數(shù)據(jù)項；然后根據(jù)場景流和深度分布的特性，提出一個各項同性和一個各向

3、異性平滑算子，作為能量泛函的約束項；除此之外，針對運動帶來的遮擋，算法提出遮擋點掩碼算法；在此之后的極小值求解中，通過使用歐拉-拉格朗日公式重寫泛函，得到求解的非線性迭代公式，再通過結(jié)合高斯金字塔的兩層迭代，得到場景流的估計結(jié)果。最后，通過在多個數(shù)據(jù)集上進行實驗得到結(jié)果，并與當前通用雙目場景流算法的實驗結(jié)果比較，評估算法有效性，證明其與多目場景流算法相比，具有更大靈活性。
　　目前針對交通視頻的機器視覺研究廣泛開展，但由于交通場景

4、具有高度動態(tài)性，不同天氣條件，不同行車環(huán)境的數(shù)據(jù)集采集非常困難，并且需要耗費巨大的時間和人力成本。對此，本文結(jié)合單目標定參數(shù)，提出一個增強現(xiàn)實數(shù)據(jù)集生成系統(tǒng)，其將現(xiàn)有單目交通視頻和標定參數(shù)作為輸入，遵循幾何一致性原則，將虛擬模型加入到場景，生成多樣化的交通場景視頻數(shù)據(jù)集，解決目前數(shù)據(jù)集種類單一，特殊條件數(shù)據(jù)集難以采集的問題。該系統(tǒng)使用三維引擎作為空間渲染的工具，使用圖像處理庫 OpenCV作為視頻加載工具，使用WPF作為界面工具，首先將