基于時空興趣點(diǎn)的人體行為識別與預(yù)測.pdf

1、人體行為識別與預(yù)測是計(jì)算機(jī)視覺領(lǐng)域最有應(yīng)用前景的研究方向之一，它的目的是利用計(jì)算機(jī)技術(shù)自動地識別和預(yù)測已經(jīng)完成或正在進(jìn)行的人類運(yùn)動行為，包括個體行為、群體行為以及人與外界之間的交互行為。相關(guān)理論研究在智能監(jiān)控、人機(jī)交互、運(yùn)動分析、虛擬現(xiàn)實(shí)等方面具有廣闊的應(yīng)用前景和巨大的市場需求，因此受到來自工業(yè)界、學(xué)術(shù)界、商業(yè)界以及安全機(jī)構(gòu)等領(lǐng)域的廣泛關(guān)注。人體運(yùn)動行為模式的研究將給人們帶來全新的生活方式。
　　近年來，人體行為的描述方法層出不窮

2、，其中基于時空興趣點(diǎn)的行為表示方法最為流行，該方法簡單可靠，對于噪聲、遮擋以及幾何變換都具有較強(qiáng)的穩(wěn)定性。雖然基于時空興趣點(diǎn)的識別方法已經(jīng)取得了很大的進(jìn)展，但是仍然存在一些急需解決的問題。時間順序信息對于運(yùn)動行為的描述十分重要，傳統(tǒng)的時空興趣點(diǎn)特征僅僅描述單一興趣點(diǎn)特征，丟失了大量時間信息，挖掘描述性更強(qiáng)的底層特征是行為識別問題的基礎(chǔ)。對于復(fù)雜背景下的運(yùn)動行為，如何區(qū)分出目標(biāo)特征和背景特征并且篩選出各個行為類別中具有較強(qiáng)代表性和區(qū)分性的

3、特征仍然是一個開放性問題。另外，傳統(tǒng)的行為識別問題主要針對完整的運(yùn)動行為，如果目標(biāo)視頻是一個正在進(jìn)行的尚未完成的運(yùn)動行為，這就產(chǎn)生了行為分析領(lǐng)域的一個新的問題——行為預(yù)測。本文工作主要針對以上問題，提出解決方案，論文的主要工作和貢獻(xiàn)如下:
　　(1)提出一種基于線性動態(tài)系統(tǒng)的局部時空區(qū)域描述子。線性動態(tài)系統(tǒng)可以描述動態(tài)紋理變化，反映運(yùn)動時間信息。根據(jù)這一特性，我們提出采用線性動態(tài)系統(tǒng)來描述時空興趣點(diǎn)周圍區(qū)域的特征。由于線性動態(tài)系統(tǒng)

4、特征不存在于歐氏空間，所以我們利用核主角來度量線性動態(tài)系統(tǒng)特征之間的相似性，再采用多類別的譜聚類算法對視頻中提取出的局部動態(tài)系統(tǒng)特征進(jìn)行聚類，在BOW模型的基礎(chǔ)上產(chǎn)生初始的詞匯表。進(jìn)一步，我們提出一種有監(jiān)督的詞匯表優(yōu)化方法，通過擴(kuò)大類間距離同時減小類內(nèi)距離來保留各個類別中區(qū)分性較強(qiáng)的視覺單詞并且抑制噪聲。實(shí)驗(yàn)結(jié)果表明，相比于經(jīng)典的梯度和光流特征，本文提出的基于線性動態(tài)系統(tǒng)的局部時空區(qū)域描述子可以獲取視頻中更多的時間信息，提高識別準(zhǔn)確率。

5、
　　(2)提出一種基于多字典稀疏表示的有監(jiān)督分類方法。不同的行為類別含有不同的具有代表性的行為特征，傳統(tǒng)的基于單一字典的稀疏表示模型不容易區(qū)分這些特征，因此我們提出基于多字典的稀疏表示模型，使得每個行為類別具有各自專屬的詞匯表。該模型通過在原有的基于L1范數(shù)稀疏表示基礎(chǔ)上增加樣本間的相似性約束項(xiàng)來獲取類內(nèi)行為的共性特征，通過增加不同類別字典之間的差異性約束項(xiàng)來區(qū)分不同類別行為之間的差異性。另一方面，我們提出分類損失函數(shù)，對多個字

6、典進(jìn)行同時優(yōu)化，學(xué)習(xí)出對于各個類別具有代表性的行為字典。實(shí)驗(yàn)結(jié)果證明，基于多字典的稀疏表示模型對于分類問題更具有針對性。
　　(3)提出一種基于高層行為單元的行為表示方法和基于組稀疏的高層特征篩選方法。傳統(tǒng)的底層特征對于復(fù)雜運(yùn)動行為的描述存在局限性，我們在底層時空上下文特征的基礎(chǔ)上，利用基于圖模型的非負(fù)矩陣分解算法將一個完整的運(yùn)動行為分解成多個簡單的行為單元。我們認(rèn)為來自同一類別的運(yùn)動行為應(yīng)該具有相似的行為單元，基于這個理論，我們

7、提出基于L2，1范數(shù)組稀疏的行為單元篩選方法，保留各個類別中具有代表性的行為單元。實(shí)驗(yàn)結(jié)果證明，本文提出的基于行為單元的行為描述方法能夠有效提高分類精度。
　　(4)提出基于帶有時間權(quán)重的廣義時間規(guī)整的行為預(yù)測算法?，F(xiàn)有的大多數(shù)行為識別算法都是分析一段完整的人體行為視頻，行為預(yù)測則是判斷正在進(jìn)行中的運(yùn)動行為類別。不同于完整運(yùn)動行為的識別問題，尚未完成的運(yùn)動行為缺失很多運(yùn)動特征，而且相對于完整行為的時間進(jìn)展也是未知的。我們提出基于時