視頻跟蹤中的目標(biāo)建模及相似性度量研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，海量的視頻數(shù)據(jù)存在于互聯(lián)網(wǎng)中，如何對(duì)這些視頻數(shù)據(jù)進(jìn)行分析、識(shí)別和理解是計(jì)算機(jī)視覺(jué)領(lǐng)域新興的研究熱點(diǎn)。溯本求源，要做到對(duì)視頻的語(yǔ)義進(jìn)行理解，需要對(duì)視頻中運(yùn)動(dòng)目標(biāo)的姿態(tài)、行為等屬性進(jìn)行分析和理解。要達(dá)到這一目的，首先需要對(duì)視頻序列中目標(biāo)的運(yùn)動(dòng)趨勢(shì)進(jìn)行建模。這就回歸到了計(jì)算機(jī)視覺(jué)中的一個(gè)基礎(chǔ)性問(wèn)題：視頻目標(biāo)跟蹤。由于視頻數(shù)據(jù)的復(fù)雜性、多樣性以及運(yùn)動(dòng)目標(biāo)本身變化的不確定性，視頻目標(biāo)跟蹤目前依然是計(jì)算機(jī)視覺(jué)中的一個(gè)難點(diǎn)。其主

2、要的挑戰(zhàn)和困難包括：運(yùn)動(dòng)目標(biāo)的表觀具有多變性，包括目標(biāo)本身的變化如平面內(nèi)旋轉(zhuǎn)、出平面旋轉(zhuǎn)、尺度變化等；同時(shí)，外在環(huán)境的變化也常常導(dǎo)致運(yùn)動(dòng)目標(biāo)的表觀發(fā)生變化，如光照條件變化、目標(biāo)物體被其他物體遮擋、復(fù)雜背景噪聲和由采集設(shè)備的不穩(wěn)定所帶來(lái)的運(yùn)動(dòng)模糊等等。
　　本論文從視頻跟蹤問(wèn)題的基本建模方式入手，對(duì)視頻跟蹤基本模型進(jìn)行分解，將魯棒視頻跟蹤方法的設(shè)計(jì)問(wèn)題歸結(jié)為對(duì)兩個(gè)核心難點(diǎn)問(wèn)題的研究：1)如何有效建立穩(wěn)健的運(yùn)動(dòng)目標(biāo)表觀模型，從而魯棒的

3、應(yīng)對(duì)各種內(nèi)在的或由外界環(huán)境帶來(lái)的目標(biāo)表觀變化。2)如何魯棒的度量目標(biāo)表觀模型和候選目標(biāo)之間的相似程度，從而有效的在后續(xù)幀中定位目標(biāo)物體。
　　本文的工作緊緊圍繞上述的兩個(gè)難點(diǎn)問(wèn)題，從以下三個(gè)方面展開(kāi)研究：
　?。?）從人眼視覺(jué)的本質(zhì)規(guī)律出發(fā)，提出一種基于時(shí)空顯著性結(jié)構(gòu)化的目標(biāo)表觀模型建模方法。該方法采用對(duì)圖像局部區(qū)域進(jìn)行建模的方式，全面而深入的討論了前景目標(biāo)局部圖像區(qū)域的顯著特性。這種顯著特性既包括了局部圖像區(qū)域在空間維度上

4、的顯著性質(zhì)，也包括了局部圖像區(qū)域在時(shí)間維度上的顯著性質(zhì)，從而保證了具有較高顯著性的局部圖像區(qū)域能夠提供充分的跟蹤信息。進(jìn)一步，該方法討論了對(duì)目標(biāo)的結(jié)構(gòu)化建模問(wèn)題，將局部圖像區(qū)域的空間關(guān)系建模成為互斥約束，并加入到對(duì)局部圖像區(qū)域的選擇中，從而保證了目標(biāo)表觀模型中的冗余信息最小化?；谠摫碛^模型，本文還給出了新的目標(biāo)定位策略和模型在線更新策略，從而保證了該表觀模型能夠有效應(yīng)對(duì)在視頻序列中發(fā)生的目標(biāo)表觀變化。
　　（2）提出一種基于低維

5、特征子空間的目標(biāo)表觀模型建模方法，該方法將目標(biāo)表觀模型定義為一組隨機(jī)的局部圖像區(qū)域，這組局部圖像區(qū)域是從一個(gè)過(guò)完備的特征空間中選擇得到，是對(duì)原始高維特征空間的低維近似，能夠有效捕捉到充分的跟蹤信息。整體運(yùn)動(dòng)目標(biāo)由該特征子空間構(gòu)成的向量表達(dá)。在連續(xù)幀匹配過(guò)程中，通過(guò)特征子空間的匹配來(lái)定位目標(biāo)物體。該方法的一個(gè)重要特點(diǎn)是簡(jiǎn)單快速，能很好的滿足視頻跟蹤應(yīng)用對(duì)實(shí)時(shí)性的要求。
　　（3）提出一種適合于視頻跟蹤應(yīng)用的基于傳播融合的相似性度量方

6、法，該方法能有效挖掘不同特征類(lèi)型之間的互補(bǔ)特性，并將它們?nèi)诤系揭粋€(gè)統(tǒng)一的相似性度量之中；同時(shí)，該方法能有效利用后續(xù)幀中的候選目標(biāo)之間的上下文結(jié)構(gòu)關(guān)系，從而有效改善相似性度量的魯棒性。該相似性度量方法的計(jì)算復(fù)雜度低，不依賴于特定的特征輸入，任意類(lèi)型的特征均可作為該相似性度量方法的輸入。
　　本文從運(yùn)動(dòng)目標(biāo)表觀模型和相似性度量?jī)蓚€(gè)角度出發(fā)，進(jìn)行了深入而全面的研究，給出了一系列解決方法。理論分析以及實(shí)驗(yàn)結(jié)果表明，本文所提出的兩種目標(biāo)表觀