基于空時(shí)關(guān)系學(xué)習(xí)的運(yùn)動(dòng)檢測(cè)和目標(biāo)跟蹤研究.pdf

1、智慧城市是國(guó)家解決當(dāng)前城市發(fā)展問題、增加新的經(jīng)濟(jì)增長(zhǎng)點(diǎn)、搶占未來(lái)科技制高點(diǎn)的重要戰(zhàn)略，其核心建設(shè)內(nèi)容之一是智能交通。智能交通的關(guān)鍵技術(shù)大多涉及計(jì)算機(jī)視覺。本文利用空時(shí)關(guān)系學(xué)習(xí)對(duì)復(fù)雜場(chǎng)景下計(jì)算機(jī)視覺中運(yùn)動(dòng)目標(biāo)檢測(cè)和目標(biāo)跟蹤兩個(gè)核心問題進(jìn)行了技術(shù)探索，研究成果應(yīng)用于智能交通之智能電子警察系統(tǒng)，提高了電子警察系統(tǒng)對(duì)環(huán)境的適應(yīng)性。對(duì)于運(yùn)動(dòng)目標(biāo)檢測(cè)問題，分析了面對(duì)復(fù)雜場(chǎng)景代表性的運(yùn)動(dòng)檢測(cè)方法設(shè)計(jì)中存在的不足，歸納出形成復(fù)雜場(chǎng)景的主要因素，深入分析

2、了光照變化、背景擾動(dòng)、相似目標(biāo)、相機(jī)運(yùn)動(dòng)等因素對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)產(chǎn)生不利影響的機(jī)理，分別提出了綜合利用視頻圖像序列在不同層面的多個(gè)因素、利用目標(biāo)局部特征和空時(shí)關(guān)系以及利用目標(biāo)與周圍環(huán)境的空時(shí)置信關(guān)系等進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)的方法;本文還對(duì)未知目標(biāo)的長(zhǎng)時(shí)間跟蹤問題進(jìn)行了研究。復(fù)雜場(chǎng)景下的未知目標(biāo)長(zhǎng)時(shí)跟蹤面臨的問題包括:目標(biāo)遮擋、目標(biāo)外觀變化、目標(biāo)尺度變化以及目標(biāo)的短暫消失。深入分析了目標(biāo)遮擋以及目標(biāo)外觀變化等情況造成目標(biāo)特征缺失或者不完整的情況下，

3、仍可利用的信息，分析并比較了代表性目標(biāo)跟蹤算法應(yīng)對(duì)目標(biāo)尺度變化和目標(biāo)短暫消失的處理策略，提出了一種結(jié)合目標(biāo)自身特征和目標(biāo)與周圍環(huán)境的空時(shí)聯(lián)系，可以長(zhǎng)時(shí)間對(duì)未知目標(biāo)進(jìn)行穩(wěn)定跟蹤的方法;最后，將以上研究成果應(yīng)用于智能電子警察系統(tǒng)，解決了研發(fā)過程中遇到的技術(shù)困難。本文的主要研究成果和貢獻(xiàn):
　　1.分析了視頻目標(biāo)檢測(cè)中復(fù)雜場(chǎng)景的主要組成因素，提出一種基于尺度不變局部三元模式(SILTP)的視頻圖像背景建模算法。根據(jù)復(fù)雜場(chǎng)景對(duì)視頻圖像序列

4、不同層次的不同影響，利用圖像幀級(jí)、圖像塊級(jí)和像素級(jí)三級(jí)信息設(shè)計(jì)背景建模算法。算法融合圖像幀、圖像塊和圖像像素三個(gè)層面的優(yōu)勢(shì)來(lái)應(yīng)對(duì)復(fù)雜場(chǎng)景。在圖像幀級(jí)，利用全局灰度均值處理場(chǎng)景亮度突變;在圖像塊級(jí)，利用SILTP紋理圖像基于圖像塊進(jìn)行背景建模，快速定位前景目標(biāo)大致輪廓;在像素級(jí)，用類ViBe算法檢測(cè)前景目標(biāo)精確邊界。此算法挖掘空時(shí)信息并融合利用，其性能在標(biāo)準(zhǔn)視頻集CDM'14上得到驗(yàn)證。
　　2.面對(duì)視頻目標(biāo)檢測(cè)的難點(diǎn)—目標(biāo)自身投影

5、的消除問題，構(gòu)建了陰影光照模型，分析了目標(biāo)陰影的種類及產(chǎn)生的原因。將紋理信息、色調(diào)信息和空時(shí)信息與ViBe算法相結(jié)合，提出了SAViBe+算法。首先，利用圖像紋理對(duì)光照變化的弱敏感性，消除室內(nèi)弱光照產(chǎn)生的目標(biāo)投影;然后，在HSV顏色空間構(gòu)建色調(diào)(Hue)模型，利用物體顏色的固有特性消除室外光照造成的目標(biāo)投影;最后，為了加強(qiáng)目標(biāo)投影的消除效果，同時(shí)提高處理速度，利用像素變化的局部相關(guān)性設(shè)計(jì)了MofV因子。用標(biāo)準(zhǔn)視頻集CDM'14驗(yàn)證了該算

6、法的性能。
　　3.提出在HSV顏色空間實(shí)現(xiàn)魯棒運(yùn)動(dòng)檢測(cè)的方法DMSTAB。在HSV顏色空間，通過K-means聚類，利用像素集的空時(shí)關(guān)聯(lián)產(chǎn)生像素的局部強(qiáng)度差，利用單高斯模型分別為像素的局部強(qiáng)度差和色調(diào)建模，然后，聯(lián)合兩者的結(jié)果尋找潛在的陰影像素點(diǎn);接著，深入分析了ViBe背景差算法的工作原理，提出基于AdaBoost-Like方法利用潛在的陰影像素點(diǎn)構(gòu)建雙關(guān)聯(lián)背景模型，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)快速精確的檢測(cè)，有效消除運(yùn)動(dòng)目標(biāo)的自身投影。用

7、標(biāo)準(zhǔn)視頻集CDM'14上多種復(fù)雜場(chǎng)景驗(yàn)證了該方法的性能。
　　4.提出基于空時(shí)置信關(guān)系進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)的方法STR。本文提出一種空時(shí)置信關(guān)系，定義了像素點(diǎn)與其環(huán)境鄰域像素點(diǎn)之間一種相對(duì)穩(wěn)定的聯(lián)系。首先，根據(jù)視覺聚焦特性和光照影響圖像亮度變化的規(guī)律，定義像素點(diǎn)與環(huán)境像素點(diǎn)的空域關(guān)系;然后，利用快速核密度估計(jì)方法對(duì)空域關(guān)系的時(shí)域變化建模;此外，根據(jù)空域關(guān)系值的分散度為模型分配相應(yīng)的權(quán)重;最后，通過基于權(quán)重的概率綜合得到像素點(diǎn)屬于背景的

8、概率，完成運(yùn)動(dòng)目標(biāo)檢測(cè)。該算法性能在標(biāo)準(zhǔn)視頻集CDM'14的典型復(fù)雜場(chǎng)景中得到驗(yàn)證。
　　5.提出一種將目標(biāo)與其環(huán)境的空時(shí)關(guān)聯(lián)信息和目標(biāo)自身特征結(jié)合使用，對(duì)未知目標(biāo)進(jìn)行長(zhǎng)時(shí)間、穩(wěn)定跟蹤的新方法LST。該方法借鑒TLD算法框架，通過檢測(cè)和跟蹤兩種獨(dú)立途徑對(duì)目標(biāo)進(jìn)行跟蹤。算法包括檢測(cè)、跟蹤和學(xué)習(xí)三個(gè)功能模塊。檢測(cè)模塊通過若干分類器級(jí)聯(lián)，根據(jù)目標(biāo)自身基本的圖像特征在全局范圍內(nèi)檢測(cè)目標(biāo)，處理目標(biāo)短暫消失又重現(xiàn)、目標(biāo)尺度變化以及環(huán)境干擾;跟

9、蹤模塊利用目標(biāo)與其周圍環(huán)境的空時(shí)置信關(guān)系，通過局部搜索，快速跟蹤目標(biāo)，處理目標(biāo)遮擋、目標(biāo)尺度變化;算法在運(yùn)行過程中，通過維護(hù)一組由正樣本組成的在線模板，對(duì)跟蹤和檢測(cè)效果進(jìn)行評(píng)測(cè)。學(xué)習(xí)模塊依據(jù)評(píng)測(cè)結(jié)果，調(diào)整檢測(cè)模塊和跟蹤模塊相關(guān)參數(shù)，實(shí)現(xiàn)算法的自學(xué)習(xí)。在若干對(duì)跟蹤算法極具挑戰(zhàn)性（嚴(yán)重遮擋、劇烈的光照變化、姿態(tài)和尺度變化、非剛性形變、復(fù)雜背景、運(yùn)動(dòng)模糊和相似目標(biāo)）的數(shù)據(jù)集上比較了LST算法與主流視頻目標(biāo)跟蹤算法的性能，LST算法展現(xiàn)出了較好