基于骨骼和深度模型的一類人體行為識(shí)別方法的研究.pdf

1、人體行為理解逐漸成為計(jì)算機(jī)視覺方面的研究熱點(diǎn)，無論是在監(jiān)控，人機(jī)交互和機(jī)器人領(lǐng)域都有著廣泛的作用。近幾年市面上出現(xiàn)了一款新型的圖像、音頻采集平臺(tái)，也就是大家熟識(shí)的Kinect。它不僅能提供傳統(tǒng)彩色相機(jī)提供的彩色圖像還可以輸出深度圖像，更進(jìn)一步的在深度圖像的基礎(chǔ)上給出人體骨骼圖像。然而，當(dāng)前Kinect平臺(tái)主要被用來實(shí)現(xiàn)人機(jī)交互、休閑娛樂。殊不知Kinect所擁有的豐富資源能夠大大豐富人體行為理解方面可以被利用的資源。本文借助Kinect

2、平臺(tái)在有限的場(chǎng)景范圍內(nèi)對(duì)人體行為做一些理解研究工作。
　　初期了解人體行為理解的研究背景和國(guó)內(nèi)外研究現(xiàn)狀以及常見算法，在熟悉Kinect平臺(tái)的基礎(chǔ)上搭建實(shí)驗(yàn)測(cè)試平臺(tái)，同時(shí)設(shè)定實(shí)驗(yàn)測(cè)試環(huán)境。分別對(duì)彩色圖像信息，深度圖像信息和骨骼圖像信息做了詳細(xì)的測(cè)試。其中包括圖像的分辨率，每幀速率;深度圖像的有效使用范圍，分辨率;骨骼圖像的有效范圍，遮擋問題等一系列的內(nèi)容進(jìn)行詳細(xì)的測(cè)試，確保Kinect平臺(tái)搭建的有效性，以幫助實(shí)驗(yàn)測(cè)試環(huán)境的選取。同

3、時(shí)有助于行為特征的提取，以及測(cè)試行為理解算法的有效性。
　　視頻中人體行為理解的一個(gè)重要問題是特征的選取問題。良好的特征能夠有效地描述人體姿勢(shì)、行為，可以說好的特征是能夠正確理解人體行為的基礎(chǔ)。文中選擇了人體骨骼特征，包括人體骨骼關(guān)節(jié)的角度、方向、相對(duì)位置，還有人體輪廓的高度和寬度的比值等參數(shù)。在實(shí)驗(yàn)測(cè)試中發(fā)現(xiàn)這些特征性能優(yōu)異，但是仍存在一個(gè)無法避免的問題——遮擋問題。當(dāng)Kinect骨骼圖像中關(guān)節(jié)點(diǎn)存在遮擋時(shí)，所給出的數(shù)據(jù)存在一定

4、的不確定性，即部分被遮擋部分的數(shù)據(jù)會(huì)存在跳變現(xiàn)象，這對(duì)被提取特征的有效性產(chǎn)生了影響，國(guó)內(nèi)外在遮擋問題上都沒有提出很好的解決方法。深度圖像反映客觀的人體姿勢(shì)，被遮擋部分不會(huì)出現(xiàn)骨骼數(shù)據(jù)中的不確定性，而且數(shù)據(jù)的魯棒性較好。通過HOG算法提取深度圖像中人體姿勢(shì)特征，結(jié)合骨骼特征，共同構(gòu)成描述人體行為的重要特征。
　　人體的行為可以被分解成姿勢(shì)序列。文中將行為理解分成兩部分，一部分通過提取的特征做姿勢(shì)識(shí)別;另一部分，理解人體姿勢(shì)序列實(shí)現(xiàn)人

5、體行為的理解。所涉及的算法也分別針對(duì)這兩個(gè)不同的任務(wù)。在特征提取中首先提到了HOG算法，它主要是提取深度圖像中的人體姿勢(shì)特征。SVM算法經(jīng)過測(cè)試有較好的識(shí)別效果，文中采用被廣泛使用的LIBSVM算法。在行為理解方面即序列分類問題上，貝葉斯方法有著較好的表現(xiàn)，在這里研究了基于貝葉斯理論的樸素貝葉斯算法，隱馬爾科夫算法在行為理解中的有效性。
　　最后在Visual Studio平臺(tái)上設(shè)計(jì)測(cè)試系統(tǒng)，完成圖像數(shù)據(jù)的讀取、顯示、實(shí)驗(yàn)測(cè)試對(duì)比