基于稠密軌跡和正則化多任務(wù)學(xué)習(xí)的人體動(dòng)作識別算法研究.pdf

1、基于 RGB通道的單視角動(dòng)作識別容易受到諸多因素的干擾。例如：光照變化、視角變化和個(gè)體動(dòng)作差異等因素。這些因素限制了其進(jìn)一步的發(fā)展和應(yīng)用。為了減少這些干擾因素的影響，多視角多模態(tài)以及動(dòng)作間的潛在關(guān)聯(lián)信息研究開始成為動(dòng)作識別領(lǐng)域的新熱點(diǎn)?；谶@些發(fā)展趨勢，本文的研究工作包括以下三個(gè)部分：1)在單視角條件下，提出了基于深度運(yùn)動(dòng)軌跡信息的人體動(dòng)作描述算法；2)在不同視角條件下，評價(jià)與分析不同正則化多任務(wù)學(xué)習(xí)算法對動(dòng)作識別的性能影響；3)在多視

2、角條件下，提出了基于正則化多任務(wù)學(xué)習(xí)和圖集的多視角人體動(dòng)作識別算法。具體工作為：
　　1)提出基于深度運(yùn)動(dòng)軌跡信息的人體動(dòng)作描述算法。在深度視頻圖像上，該算法首先利用光流信息的變化去提取稠密軌跡特征，加入該特征的深度變化信息并將稠密軌跡的立方體分割成若干個(gè)子立方體；然后，計(jì)算相應(yīng)的描述算子-HOG(Histograms of Oriented Gradients)和HOF(Histograms of Optical Flow)，為

3、了消除相機(jī)移動(dòng)所帶來的干擾，計(jì)算MBH(Motion Boundary Histogram)描述算子，將軌跡特征、HOG、HOF和MBH進(jìn)行串聯(lián)，利用K-means和BoW(Bag-of-Word)模型進(jìn)行投影；最后，利用不同的支持向量機(jī) SVM(Support Vector Machine)進(jìn)行分類。通過在兩個(gè)公開深度動(dòng)作數(shù)據(jù)集DHA-17和UTkinect的實(shí)驗(yàn)結(jié)果可知:該描述算法在深度數(shù)據(jù)上具有較好的實(shí)驗(yàn)性能。
　　2)評價(jià)

4、與分析正則化多任務(wù)學(xué)習(xí)算法對人體動(dòng)作識別的性能影響。由于正則化多任務(wù)學(xué)習(xí)算法能夠很好地挖掘不同任務(wù)之間的關(guān)聯(lián)信息，所以本章將同一視角的不同動(dòng)作視為不同的任務(wù)，利用多種正則化多任務(wù)學(xué)習(xí)函數(shù)來挖掘不同動(dòng)作之間的關(guān)聯(lián)信息并將它們的實(shí)驗(yàn)結(jié)果與單任務(wù)學(xué)習(xí)算法SVM的實(shí)驗(yàn)結(jié)果進(jìn)行比較；此外，在跨視角識別上對該算法實(shí)施進(jìn)一步的評估。通過在三個(gè)公共多視角數(shù)據(jù)集CVS-MV-RGBD-SINGLE、IXMAX、UCLA數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果可知:正則化多任務(wù)

5、學(xué)習(xí)算法在單視角識別上具有一定的優(yōu)越性和魯棒性，能夠在一定程度上挖掘不同動(dòng)作之間的關(guān)聯(lián)；此外，由于視角的差異較大，正則化多任務(wù)學(xué)習(xí)算法的性能受到制約，在跨視角識別上優(yōu)勢不明顯。
　　3)提出基于圖集和正則化多任務(wù)學(xué)習(xí)的多視角人體動(dòng)作識別算法。首先,為了驗(yàn)證多視角樣本對多任務(wù)學(xué)習(xí)的影響，算法將不同視角下的訓(xùn)練樣本進(jìn)行疊加，挖掘不同視角下樣本的關(guān)聯(lián)信息；隨后考慮到不同視角樣本的相關(guān)性，將圖集算法引入到多任務(wù)學(xué)習(xí)模型Least_RMTL