復(fù)雜場(chǎng)景下基于局部分塊和上下文信息的單視覺目標(biāo)跟蹤.pdf

1、視覺目標(biāo)跟蹤是計(jì)算機(jī)視覺中最為重要的研究?jī)?nèi)容之一，并在視頻監(jiān)控、人機(jī)交互、增強(qiáng)現(xiàn)實(shí)、視覺導(dǎo)航、醫(yī)學(xué)圖像分析等領(lǐng)域有著深入的應(yīng)用。通常，視覺目標(biāo)跟蹤被視為對(duì)目標(biāo)狀態(tài)的估計(jì)和判別。即在給定初始的目標(biāo)狀態(tài)（如位置、尺度等信息）下，視覺目標(biāo)跟蹤的目的是在連續(xù)的圖像序列中估計(jì)或判別對(duì)象目標(biāo)的狀態(tài)。在過去的數(shù)十年里，視覺目標(biāo)跟蹤取得了顯著的進(jìn)展，特別是在有約束條件或相對(duì)簡(jiǎn)單的環(huán)境下，取得了較好的效果，如靜態(tài)場(chǎng)景下對(duì)剛體目標(biāo)的跟蹤等。然而，在現(xiàn)實(shí)世界

2、里，由于目標(biāo)自身和背景環(huán)境的復(fù)雜性，實(shí)現(xiàn)魯棒和準(zhǔn)確的目標(biāo)跟蹤仍然是一個(gè)挑戰(zhàn)性的問題。跟蹤過程中，算法的性能和效果會(huì)受到各種因素的影響，如部分或全部遮擋、光照變化、平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)、背景雜亂、尺度變化和復(fù)雜運(yùn)動(dòng)等，這些復(fù)雜的因素會(huì)導(dǎo)致目標(biāo)表觀發(fā)生顯著的變化。目前，已有或存在的跟蹤方法仍然不能有效解決這些復(fù)雜的因素所帶來的問題，視覺目標(biāo)跟蹤算法的性能還需要進(jìn)一步的提高。在視覺目標(biāo)跟蹤過程中，如何有效地表征目標(biāo)，往往對(duì)跟蹤的結(jié)果和性能起

3、著決定性的作用。此外，目標(biāo)所處的環(huán)境因素對(duì)跟蹤的結(jié)果和性能起著重要的影響。特別是在復(fù)雜的環(huán)境下，目標(biāo)特征及目標(biāo)上下文信息可以為跟蹤提供重要的證據(jù)信息。因而，有效利用目標(biāo)特征信息及上下文信息表征對(duì)象目標(biāo)，是提高算法性能的重要途徑之一。
　　本文在深入分析視覺目標(biāo)跟蹤工作機(jī)理的基礎(chǔ)上，結(jié)合目標(biāo)的結(jié)構(gòu)化特征信息以及上下文信息，從構(gòu)建魯棒的目標(biāo)表觀模型角度出發(fā)，開展了相關(guān)的研究工作，并提出了一些新的思路。本文的主要工作及創(chuàng)新點(diǎn)包括:

4、>　　(1)針對(duì)跟蹤過程中表觀發(fā)生劇烈變化的目標(biāo)跟蹤問題，本文提出了一種新的基于自適應(yīng)分塊表觀模型的視覺目標(biāo)跟蹤方法。本文方法用一組空間上具有內(nèi)在幾何結(jié)構(gòu)關(guān)系約束的局部圖像塊表征對(duì)象目標(biāo)，以適應(yīng)對(duì)象目標(biāo)表觀的劇烈變化。在跟蹤過程中，對(duì)象模型的局部分塊依據(jù)目標(biāo)表觀的變化實(shí)現(xiàn)在線自適應(yīng)的更新（添加和刪除）。本文方法充分利用了局部分塊對(duì)表觀變化適應(yīng)上的靈活性，克服了傳統(tǒng)算法不能及時(shí)更新表觀模型的局限性。與此同時(shí)，本文方法利用顏色特征構(gòu)建對(duì)象目

5、標(biāo)的全局概率模型，為局部塊的更新提供了有效的先驗(yàn)信息，為表觀模型提供了更加可靠、靈活的更新依據(jù)。實(shí)驗(yàn)結(jié)果表明，該方法能夠較好的適應(yīng)目標(biāo)的表觀變化，在目標(biāo)發(fā)生劇烈的表觀變化時(shí)能夠有效的跟蹤目標(biāo)。
　　(2)為在復(fù)雜環(huán)境下實(shí)現(xiàn)魯棒的目標(biāo)跟蹤，本文提出了一種基于局部表觀模型和上下文信息的目標(biāo)跟蹤方法。在跟蹤過程中，利用目標(biāo)內(nèi)部的局部圖像塊和目標(biāo)的上下文聯(lián)合表征對(duì)象目標(biāo)，構(gòu)建目標(biāo)的表觀模型。首先，將目標(biāo)表征為一組柵格化的局部圖像塊，利用梯

6、度和亮度信息描述局部圖像塊的特征。局部塊的似然度由穩(wěn)定性和可靠性描述，以評(píng)估跟蹤過程中局部塊的魯棒性。本文方法通過局部分塊的表征方式有效的保存了目標(biāo)內(nèi)部的空間結(jié)構(gòu)信息，能在復(fù)雜環(huán)境下快速適應(yīng)目標(biāo)的局部表觀變化。其次，為抑制跟蹤過程中的漂移，目標(biāo)由分別包含了前景和背景的上下文信息表征。通過在模型的構(gòu)建過程中融合背景信息，有效的抑制了背景模糊和噪聲對(duì)目標(biāo)跟蹤的影響。實(shí)驗(yàn)結(jié)果表明，該方法能有效的處理遮擋、快速運(yùn)動(dòng)和背景模糊等復(fù)雜情況。

7、　　(3)為有效表征對(duì)象目標(biāo)，本文提出了一個(gè)層次化的表觀模型，并在貝葉斯框架下構(gòu)建了基于層次化模型的視覺目標(biāo)跟蹤方法。跟蹤過程中，對(duì)象目標(biāo)由局部層和全局層組成的層次化表觀模型表征。局部層模型用一組局部分塊描述對(duì)象目標(biāo)，以適應(yīng)由遮擋、形變等引起的局部表觀變化。全局層模型用包含了前景和背景的目標(biāo)上下文信息描述目標(biāo)，以有效處理跟蹤過程中出現(xiàn)的復(fù)雜背景、運(yùn)動(dòng)模糊等情況導(dǎo)致的影響。該方法通過局部層、全局層的聯(lián)合表征方式，能夠有效提升目標(biāo)表征的準(zhǔn)確

8、性，能夠有效抑制各種復(fù)雜情況對(duì)跟蹤結(jié)果的影響。實(shí)驗(yàn)結(jié)果表明，該算法具有較高的效率、魯棒性和準(zhǔn)確性，在各種復(fù)雜環(huán)境下均取得了較高的目標(biāo)跟蹤性能。
　　(4)為獲取魯棒、準(zhǔn)確的跟蹤性能，本文將相干濾波引入到目標(biāo)跟蹤框架中，基于相干濾波、局部分塊模型和上下文信息提出了一種協(xié)同視覺目標(biāo)跟蹤方法。為提高目標(biāo)跟蹤的準(zhǔn)確性，本文方法采用粗到細(xì)的跟蹤策略。在粗跟蹤階段，目標(biāo)由多個(gè)由隨機(jī)采樣獲取的局部圖像塊表征，每個(gè)局部塊獨(dú)立的執(zhí)行跟蹤任務(wù)，目標(biāo)狀

9、態(tài)由各個(gè)局部圖像塊的狀態(tài)預(yù)測(cè)經(jīng)過加權(quán)后初步確定。在細(xì)跟蹤階段，目標(biāo)由包含了背景和前景的雙矩形框聯(lián)合表征。通過在跟蹤過程中融入上下文信息，在貝葉斯推理框架下基于細(xì)搜索策略精確估計(jì)目標(biāo)的位置。此外，為在長(zhǎng)期的目標(biāo)跟蹤中獲取魯棒的跟蹤效果，我們基于局部圖像塊的置信度來處理跟蹤過程中發(fā)生的遮擋。跟蹤過程中，本文方法將生成模型和判別模型相融合，實(shí)現(xiàn)了兩種模型的優(yōu)勢(shì)互補(bǔ);通過將基于局部模型的跟蹤方式和基于全局模型的跟蹤方式相融合，實(shí)現(xiàn)了協(xié)同的目標(biāo)跟