基于生成式對抗網(wǎng)絡(luò)(GAN)的自動駕駛?cè)蒎e感知研究.pdf

1、典型的自動駕駛系統(tǒng)中，安裝了攝像機、激光雷達和毫米波雷達等多個類型的傳感器。傳感器模仿了人類的感知功能，用于獲取車道線，檢測障礙物等環(huán)境感知任務(wù)。自動駕駛的環(huán)境非常復(fù)雜，傳感器尤其是基于視覺的傳感器會出現(xiàn)由于設(shè)備本身突然故障導(dǎo)致圖像采集不到，由于相機偶然被遮擋不能采集到完整的圖像，或者由于光線短時間內(nèi)變強導(dǎo)致圖像曝光過度的情況。在計算機視覺中，圖像生成是近年來興起的新技術(shù)，但是關(guān)于圖像生成技術(shù)在自動駕駛場景中的應(yīng)用研究非常少。因此本論文

2、針對自動駕駛視覺傳感器可能會出現(xiàn)的突發(fā)失效問題，提出了自動駕駛系統(tǒng)感知容錯模塊的概念，探究了圖像生成技術(shù)在感知容錯模塊的若干應(yīng)用，并針對特定問題與應(yīng)用，改進了模型、損失函數(shù)與訓(xùn)練方法。其中重點對車道線圖像增強與檢測，感知端的圖像容錯預(yù)測以及基于視角生成網(wǎng)絡(luò)的圖像恢復(fù)與SLAM容錯應(yīng)用三個方面開展了研究。
　　主要研究工作和成果包括如下幾個方面:
　　(1)介紹了一種新的，更魯棒的車道線圖像增強與檢測思路。在非結(jié)構(gòu)化道路沒有車

3、道線，某些道路的車道線被磨平和腐蝕，或者車道線被遮擋的情況下，車道線檢測是一個非常大的挑戰(zhàn)。針對這種復(fù)雜環(huán)境下的車道線檢測問題，本論文首先應(yīng)用圖像生成網(wǎng)絡(luò)Pix2Pix完成端對端的車道線圖像增強，再將生成的圖像用于車道線檢測。這是圖像生成技術(shù)在車道線圖像增強與檢測方向上的首次應(yīng)用。該算法可以無縫嵌入到圖像感知模塊和成熟的車道線檢測算法中去，提高了傳統(tǒng)車道線檢測算法的容錯能力。本論文在Prescan數(shù)據(jù)集上的實驗證明了該方案的可行性，并提

4、供了一些工程經(jīng)驗。
　　(2)提出了一種新的感知預(yù)測模型。本論文針對視覺感知過程中可能存在的突然曝光過度或者感知設(shè)備偶然被遮擋導(dǎo)致圖像質(zhì)量不高的問題，提出了新的視頻幀預(yù)測與生成模型。該模型在前人提出的圖像金字塔特征提取和生成式GAN網(wǎng)絡(luò)訓(xùn)練框架的基礎(chǔ)之上，添加了新的卷積特征損失函數(shù)，改善了生成圖像模糊的問題。同時還對生成器網(wǎng)絡(luò)中傳統(tǒng)的金字塔結(jié)構(gòu)提出改進，通過建立卷積特征共享層，降低了參數(shù)和計算量，從而減少了測試階段的圖像生成時間，

5、使得實時預(yù)測成為可能。模型預(yù)測的圖像實現(xiàn)了感知端的容錯，可以用于輔助自動駕駛的決策層;同時該圖像也可以在端對端的強化學(xué)習(xí)中作為預(yù)測輸入，對決策做出前饋微調(diào)。在KITTI和Pacman數(shù)據(jù)集上的訓(xùn)練測試結(jié)果證明了改進模型能夠更快地生成更加清晰的圖像。
　　(3)提出了新的基于視角生成網(wǎng)絡(luò)的圖像恢復(fù)模型，實現(xiàn)了SLAM的容錯應(yīng)用。該研究針對雙目攝像機某一目圖像短時失效的問題，提出了根據(jù)該目恢復(fù)另一目視角圖像，從而保證SLAM系統(tǒng)正常工

6、作的方案，實現(xiàn)了感知容錯。文章在經(jīng)典圖像生成網(wǎng)絡(luò)Pix2Pix的基礎(chǔ)上，逐步添加了深度估計網(wǎng)絡(luò)和深度信息的輸入，基于STN網(wǎng)絡(luò)的圖像重建損失以及基于圖像修復(fù)網(wǎng)絡(luò)的圖像補全損失三個方面的改進。改進模型在兩個通用的自動駕駛數(shù)據(jù)集KITTI和Cityscapes上的實驗證實了網(wǎng)絡(luò)對圖像的生成質(zhì)量有了很大的提高。本論文后處理部分導(dǎo)出了深度估計網(wǎng)絡(luò)的深度信息中間結(jié)果，同時將生成的圖像用于雙目視覺系統(tǒng)的重建，實驗結(jié)果表明該方案能夠?qū)崿F(xiàn)系統(tǒng)在一定誤差