基于多模態(tài)視覺(jué)數(shù)據(jù)融合的目標(biāo)跟蹤方法研究.pdf

1、視覺(jué)目標(biāo)跟蹤，旨在連續(xù)的視頻幀或在線(xiàn)視頻中，計(jì)算出選定目標(biāo)在每一幀中的位置信息，是計(jì)算機(jī)視覺(jué)研究領(lǐng)域中的一個(gè)基礎(chǔ)且重要的研究課題，其在諸如目標(biāo)制導(dǎo)、自動(dòng)駕駛、行為識(shí)別等應(yīng)用場(chǎng)景下有著廣泛的應(yīng)用價(jià)值。
　　可見(jiàn)光單模態(tài)目標(biāo)跟蹤作為視覺(jué)目標(biāo)跟蹤的首要研究問(wèn)題，近年來(lái)，獲得了豐富的研究成果。人們不僅提出了多種基于不同理論框架的目標(biāo)跟蹤算法，這些算法在時(shí)間和精度兩個(gè)方面提升目標(biāo)跟蹤算法的性能;還建立了包含多種復(fù)雜條件的可見(jiàn)光目標(biāo)跟蹤數(shù)據(jù)集

2、，用于評(píng)估這些不同目標(biāo)跟蹤算法的性能。這些工作不僅奠定了可見(jiàn)光單模態(tài)目標(biāo)跟蹤算法的理論基礎(chǔ)，而且在實(shí)際的工程項(xiàng)目中也有著廣泛的應(yīng)用。
　　雖然目前的可見(jiàn)光單模態(tài)目標(biāo)跟蹤算法，在很多復(fù)雜的跟蹤場(chǎng)景下仍然有著良好的跟蹤性能，但是在某些極端條件下，如低照度或零照度條件，現(xiàn)有的基于可見(jiàn)光的單模態(tài)目標(biāo)跟蹤算法仍會(huì)失效。針對(duì)這一問(wèn)題，研究人員通過(guò)引入熱紅外圖像或顏色深度圖像信息，來(lái)彌補(bǔ)可見(jiàn)光單模態(tài)視頻數(shù)據(jù)的不足。由于可見(jiàn)光視頻和熱紅外視頻良好

3、的互補(bǔ)特性，近年來(lái)，基于熱紅外視頻和可見(jiàn)光視頻的多模態(tài)目標(biāo)跟蹤算法的研究，得到了廣泛的關(guān)注。
　　本文針對(duì)基于熱紅外和可見(jiàn)光視頻的多模態(tài)目標(biāo)跟蹤算法進(jìn)行了相關(guān)的研究，其主要貢獻(xiàn)有:
　　(1)提出了一種基于模態(tài)可靠性相關(guān)度的多模態(tài)目標(biāo)跟蹤算法。由于熱紅外和可見(jiàn)光不同的成像機(jī)制，不同成像機(jī)制下獲取的目標(biāo)信息具有不同的權(quán)重，為了評(píng)估不同模態(tài)的權(quán)重，使得傳統(tǒng)的單模態(tài)算法能夠始終在較好的模態(tài)下進(jìn)行目標(biāo)跟蹤，本文提出了一種模態(tài)可靠性定

4、義準(zhǔn)則，并在此準(zhǔn)則基礎(chǔ)上，設(shè)計(jì)實(shí)現(xiàn)了一種實(shí)時(shí)的多模態(tài)目標(biāo)跟蹤算法，該算法能夠自適應(yīng)的利用熱紅外和可見(jiàn)光信息實(shí)現(xiàn)目標(biāo)的持續(xù)穩(wěn)健跟蹤，在跟蹤過(guò)程中，通過(guò)相關(guān)的模型更新算法，使得跟蹤模型能夠適應(yīng)目標(biāo)外觀變化，降低噪聲的影響。
　　(2)提出了一種融合局部和全局信息的多模態(tài)協(xié)同目標(biāo)跟蹤算法。在多模態(tài)目標(biāo)跟蹤過(guò)程中，不同的視頻模態(tài)有著不同的權(quán)重，進(jìn)一步，跟蹤樣本的不同區(qū)域?qū)τ诟櫧Y(jié)果而言也有著不同的貢獻(xiàn)?？紤]到不同模態(tài)的權(quán)重以及跟蹤樣本不同

5、分塊區(qū)域的權(quán)重，本文提出了一種融合多模態(tài)數(shù)據(jù)的協(xié)同目標(biāo)跟蹤算法。該模型通過(guò)聯(lián)合的稀疏表示學(xué)習(xí)來(lái)充分使用跟蹤目標(biāo)樣本和樣本內(nèi)部圖像塊之間的內(nèi)在聯(lián)系。同時(shí)，模型在處理樣本的內(nèi)部圖像塊時(shí)，保持了其空間結(jié)構(gòu)布局信息;并且考慮到跟蹤目標(biāo)樣本和其局部圖像塊對(duì)跟蹤結(jié)果的不同貢獻(xiàn)值，進(jìn)行了聯(lián)合的加權(quán)處理;最后，考慮了多模態(tài)不同模態(tài)的權(quán)重，并且將該權(quán)重和整個(gè)目標(biāo)跟蹤稀疏外觀表示模型聯(lián)合求解。
　　(3)構(gòu)建了一個(gè)包含多種復(fù)雜條件的多模態(tài)目標(biāo)跟蹤數(shù)據(jù)

6、集。由于當(dāng)前公開(kāi)的多模態(tài)數(shù)據(jù)集，如OSU、AIC等，其場(chǎng)景單一、視頻序列較少，難以作為評(píng)估多模態(tài)目標(biāo)跟蹤來(lái)使用。為了能夠建立一個(gè)統(tǒng)一的多模態(tài)跟蹤目標(biāo)跟蹤數(shù)據(jù)集，以評(píng)估各種多模態(tài)目標(biāo)跟蹤算法，本文構(gòu)建了一個(gè)包括低照度、背景雜亂等復(fù)雜條件的多模態(tài)視頻數(shù)據(jù)集，這些視頻包含了低照度條件下的單人行進(jìn)，兩人交叉遮擋，單個(gè)剛體自行車(chē)行進(jìn)等多種挑戰(zhàn)性因素。原始視頻數(shù)據(jù)，經(jīng)過(guò)初步整理、場(chǎng)景對(duì)齊、跟蹤目標(biāo)位置人工標(biāo)注之后，形成了一個(gè)較為完備的多模態(tài)目標(biāo)跟蹤