基于深度圖像和骨骼數(shù)據(jù)的人體動(dòng)作識(shí)別.pdf

1、人體動(dòng)作識(shí)別是計(jì)算機(jī)視覺和模式識(shí)別中一個(gè)非?；钴S的領(lǐng)域，并且在自然人機(jī)交互、虛擬現(xiàn)實(shí)、智能視頻監(jiān)控和多媒體搜索領(lǐng)域中有很多潛在的應(yīng)用。早期的動(dòng)作識(shí)別算法都是針對(duì)彩色攝像機(jī)錄制的彩色視頻序列。隨著攝像技術(shù)的快速發(fā)展，廉價(jià)的深度攝像機(jī)的誕生，例如微軟的Kinect，大大促進(jìn)了包括動(dòng)作識(shí)別在內(nèi)的視覺識(shí)別技術(shù)的發(fā)展。和傳統(tǒng)的彩色圖像相比，深度數(shù)據(jù)能夠提供額外的第三維度的深度信息，該信息不僅對(duì)光照的變化不敏感，而且能夠忽略由于衣服，皮膚，頭發(fā)以及

2、背景產(chǎn)生的顏色差異。
　　論文圍繞 Kinect體感設(shè)備獲取的深度數(shù)據(jù)，實(shí)現(xiàn)了多種快速且有效的人體動(dòng)作識(shí)別方法，研究?jī)?nèi)容如下：
　　第一，針對(duì)傳統(tǒng)的彩色視頻序列算法實(shí)現(xiàn)復(fù)雜，無法做到實(shí)時(shí)識(shí)別動(dòng)作的問題，論文在骨骼數(shù)據(jù)的基礎(chǔ)上提出了一種實(shí)時(shí)且有效的人體動(dòng)作識(shí)別算法。該算法提取20個(gè)關(guān)節(jié)點(diǎn)中的15個(gè)關(guān)鍵點(diǎn)，然后對(duì)15個(gè)關(guān)鍵點(diǎn)建模，分別獲取它們的位置模型，運(yùn)動(dòng)模型以及角度模型，將這些模型進(jìn)行組合，用HMM模型對(duì)動(dòng)作進(jìn)行分類。在微軟

3、的權(quán)威數(shù)據(jù)庫(kù)MSR Action3D進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，該算法能夠做到實(shí)時(shí)且識(shí)別率較高并且能夠在處理深度骨骼視頻時(shí)能做到實(shí)時(shí)識(shí)別。
　　第二，針對(duì)傳統(tǒng)的彩色視頻二維信息不足導(dǎo)致動(dòng)作識(shí)別效果不佳的問題，提出一種新的基于三維深度圖像序列的動(dòng)作識(shí)別方法。該算法在時(shí)間維度上提取了時(shí)間深度運(yùn)動(dòng)圖（TDMM）來描述動(dòng)作。在三個(gè)正交的笛卡爾平面上，將深度圖像序列分成幾個(gè)子動(dòng)作，對(duì)所有子動(dòng)作作幀間差分并累積能量，形成深度運(yùn)動(dòng)圖來描述動(dòng)作的動(dòng)態(tài)

4、特征。最后用支持向量機(jī)（SVM）進(jìn)行動(dòng)作的分類。在兩個(gè)權(quán)威數(shù)據(jù)庫(kù)MSR Action3D和MSRGesture3D上進(jìn)行實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，該方法能夠快速對(duì)深度圖像序列進(jìn)行計(jì)算并取得較高的識(shí)別率，并滿足深度視頻序列的實(shí)時(shí)性要求。
　　第三，在時(shí)間深度運(yùn)動(dòng)圖（TDMM）的基礎(chǔ)上，提出了時(shí)間深度模型（TDM），在空間維度上，用空間金字塔方向梯度直方圖(SPHOG)對(duì)時(shí)間深度模型進(jìn)行編碼得到一種全新的描述符，即TDM-SPHOG描述