多視角視頻時空分析研究與應(yīng)用.pdf

1、時空分析方法通過分析時空數(shù)據(jù)提取目標(biāo)時域與空域特征，將有意義的數(shù)據(jù)從總體中分離并應(yīng)用在后續(xù)研究領(lǐng)域中。多視角視頻時空分析實(shí)現(xiàn)從視頻中提取時空數(shù)據(jù)特征，對目標(biāo)行為分析，語義判斷，場景理解等工作具有重要意義，是計(jì)算機(jī)視覺領(lǐng)域中非常重要的研究課題?；诙嘁暯且曨l的時空分析，需要在視頻中完成對目標(biāo)的檢測、識別等工作，因此更具有挑戰(zhàn)性。本文針對Multi-egocentric視頻（也稱多視角Egocentric視頻）的特點(diǎn)，研究了時空分析方法，并

2、將時空分析方法應(yīng)用在針對Multi-egocentric視頻的群體檢測的研究當(dāng)中。
　　本文以多個相同時間拍攝的Egocentric視頻產(chǎn)生的圖像序列為輸入，結(jié)合時空分析方法實(shí)現(xiàn)了目標(biāo)檢測、目標(biāo)匹配、目標(biāo)位置和朝向估計(jì)，最終完成目標(biāo)群體檢測，本文的主要工作如下:
　　1、研究了多視角視頻時空分析方法，針對Multi-egocentric視頻中的背景變化劇烈、目標(biāo)尺度差異明顯和視角時變性強(qiáng)的特點(diǎn)，本文構(gòu)建了基于Boosting

3、方法的多目標(biāo)檢測模型對多個視頻中的顯著目標(biāo)進(jìn)行粗檢測，并結(jié)合時空信息，提出一種基于局部相似度的區(qū)域優(yōu)化算法對目標(biāo)輪廓進(jìn)行優(yōu)化。在Party Scene數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明，該算法克服了以上Egocentric視頻特點(diǎn)導(dǎo)致的檢測結(jié)果不準(zhǔn)確等問題，在魯棒性方面較Zhu提出的基于魯棒性背景度量的顯著性優(yōu)化算法更優(yōu)。
　　2、研究了基于多視角視頻目標(biāo)匹配、位置和朝向估計(jì)算法，結(jié)合時空金字塔方法，利用同一目標(biāo)的不同視角的圖像作為輸入訓(xùn)練基

4、于HOG特征的SVM分類器，實(shí)現(xiàn)多視角視頻的多目標(biāo)匹配。根據(jù)Egocentric視頻的拍攝特點(diǎn)，利用Ego-motion信息將目標(biāo)的運(yùn)動模式分類，提出基于稀疏光流模式匹配的Ego-motion估計(jì)算法，并據(jù)此估計(jì)目標(biāo)的位置和朝向。在Party Scene數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明，本文提出的目標(biāo)匹配算法、位置和朝向估計(jì)算法基本達(dá)到同類算法水平，但由于Egocentric視頻目標(biāo)尺度差異明顯和視角時變性強(qiáng)等特點(diǎn)，本文算法難度更大，符合預(yù)期。<