基于主題模型的動(dòng)態(tài)場(chǎng)景分類.pdf

1、場(chǎng)景分類是指根據(jù)特定意義對(duì)圖像數(shù)據(jù)集進(jìn)行自動(dòng)標(biāo)注,是當(dāng)前計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)研究熱點(diǎn)。本文以動(dòng)態(tài)場(chǎng)景為研究對(duì)象,以視覺(jué)詞包-語(yǔ)義主題建模-動(dòng)態(tài)場(chǎng)景語(yǔ)義分類為主線,研究基于主題模型的動(dòng)態(tài)場(chǎng)景分類方法。研究?jī)?nèi)容主要包括動(dòng)態(tài)場(chǎng)景視覺(jué)詞典的構(gòu)建,基于先驗(yàn)知識(shí)的消息傳遞主題模型建模以及動(dòng)態(tài)場(chǎng)景語(yǔ)義分類的實(shí)現(xiàn)。論文的主要工作如下:
　　1、針對(duì)現(xiàn)有主題語(yǔ)義場(chǎng)景分類方法大多局限于靜態(tài)圖像集,視覺(jué)單詞生成方法不能直接適用于動(dòng)態(tài)場(chǎng)景的問(wèn)題,在充分考

2、慮動(dòng)態(tài)場(chǎng)景中的空間和時(shí)間隨機(jī)動(dòng)態(tài)的情況下,提出采用SIFT(Scale Invariant Feature Transform)流特征描述的動(dòng)態(tài)場(chǎng)景視覺(jué)單詞生成方法。該方法在特征提取階段采用SIFT特征點(diǎn),對(duì)尺度、旋轉(zhuǎn)、仿射變換具有穩(wěn)健性,對(duì)靜態(tài)圖像幀中的局部信息也更具有較強(qiáng)的魯棒性;在計(jì)算流場(chǎng)時(shí),避免了傳統(tǒng)光流中對(duì)像素灰度值不變的假設(shè),在相鄰的圖像幀之間以稠密的SIFT描述子作為流場(chǎng)的基礎(chǔ),能夠克服噪聲點(diǎn)對(duì)流場(chǎng)計(jì)算的干擾。在量化階段,

3、針對(duì)視覺(jué)特征量化為視覺(jué)單詞丟失特征的空間位置信息問(wèn)題,采用均勻分塊的思想,按照SIFT流的位置量化為視覺(jué)單詞,解決了缺少空間位置信息的問(wèn)題。實(shí)驗(yàn)證明,提出的動(dòng)態(tài)視覺(jué)詞典生成方法能夠得到較好的分類性能,該方法比采用灰度差分特征的描述方法分類準(zhǔn)確率平均提高了10％左右。
　　2、針對(duì)傳統(tǒng)主題模型(PLSA、LDA)在動(dòng)態(tài)場(chǎng)景分類中訓(xùn)練時(shí)間長(zhǎng)、分類精度不高的問(wèn)題,本文在研究TMBP(Topic Model of Belief Propa

4、gation)模型的基礎(chǔ)上,提出一種引入先驗(yàn)知識(shí)的改進(jìn) Knowledge-TMBP主題模型。該模型通過(guò)動(dòng)態(tài)視覺(jué)單詞和圖像文檔間的逆向文檔序數(shù)作為先驗(yàn)知識(shí)的表達(dá),改寫(xiě)原始 TMBP模型中的消息傳遞,從而保證重要的視覺(jué)單詞在主題推導(dǎo)中具有更大的決定性。
　　3、基于動(dòng)態(tài)場(chǎng)景語(yǔ)義分類的應(yīng)用。論文實(shí)現(xiàn)了基于提出的動(dòng)態(tài)視覺(jué)單詞、在TMBP模型以及Knowledge-TMBP模型下的動(dòng)態(tài)場(chǎng)景分類。在包含14類動(dòng)態(tài)場(chǎng)景的數(shù)據(jù)庫(kù)上做了相關(guān)的實(shí)驗(yàn)