多模態(tài)人體行為識別技術(shù)研究.pdf

1、隨著近年來各式新型傳感器(如微軟的Kinect)的不斷問世，多模態(tài)人體行為識別研究逐漸成為計算機(jī)視覺領(lǐng)域內(nèi)一個新的研究熱點。相關(guān)研究成果可以廣泛應(yīng)用到智能視頻監(jiān)控、互動娛樂、視頻內(nèi)容的分析與檢索等應(yīng)用中。本文按照多模態(tài)數(shù)據(jù)預(yù)處理、特征提取與選擇、人體行為識別這三個主要步驟，圍繞多模態(tài)人體行為識別這一主題開展一系列研究工作，取得以下成果:
　　首先，在多模態(tài)數(shù)據(jù)處理方面，針對三維人體運(yùn)動數(shù)據(jù)補(bǔ)全和去噪問題，分別提出三種新算法。

2、>　　提出一種采用l1稀疏表達(dá)的缺失標(biāo)記點預(yù)測方法，將傳統(tǒng)三維人體運(yùn)動數(shù)據(jù)標(biāo)記點缺失問題轉(zhuǎn)化為尋找已觀測到部分姿態(tài)數(shù)據(jù)的稀疏表達(dá)最優(yōu)化問題。為了緩解訓(xùn)練數(shù)據(jù)集容量有限的問題，提出一種表達(dá)系數(shù)加權(quán)更新算法，用于對訓(xùn)練數(shù)據(jù)集進(jìn)行定時動態(tài)更新，有效地提高了預(yù)測算法的穩(wěn)定性。
　　提出一種數(shù)據(jù)驅(qū)動的魯棒人體運(yùn)動數(shù)據(jù)去噪算法，挖掘人體運(yùn)動數(shù)據(jù)中存在的時空運(yùn)動模式和結(jié)構(gòu)性稀疏特性。與其他數(shù)據(jù)驅(qū)動算法比較，該算法不需要對訓(xùn)練數(shù)據(jù)集進(jìn)行特意挑選，

3、在實際應(yīng)用中更易于使用。大量的模擬和真實噪聲數(shù)據(jù)的對比測試表明，該算法始終優(yōu)于其他現(xiàn)有方法，輸出的人體運(yùn)動更加穩(wěn)定可靠。
　　提出一種非數(shù)據(jù)驅(qū)動的人體運(yùn)動數(shù)據(jù)增強(qiáng)算法，在一個統(tǒng)一框架下同時解決人體運(yùn)動數(shù)據(jù)增強(qiáng)所涉及到的數(shù)據(jù)補(bǔ)全和數(shù)據(jù)去噪兩個子問題。在構(gòu)建算法目標(biāo)函數(shù)時，不僅考慮人體運(yùn)動數(shù)據(jù)的低秩結(jié)構(gòu)特性和時序平穩(wěn)特性，而且將數(shù)據(jù)中噪聲因素也考慮進(jìn)來。為了優(yōu)化求解該目標(biāo)函數(shù)，提出一種基于增廣拉格朗日乘子算法的迭代優(yōu)化方法，實現(xiàn)對目標(biāo)

4、函數(shù)的快速優(yōu)化求解。此外，提出一個可信數(shù)據(jù)檢測方法用來提高整個數(shù)據(jù)處理過程的自動化程度和提升算法性能。大量對比實驗驗證了本文所提算法在缺失數(shù)據(jù)補(bǔ)全和數(shù)據(jù)去噪兩個問題上的有效性。
　　接著，在特征提取與選擇上，提出一種自適應(yīng)無監(jiān)督多視圖特征選擇算法，用于從原始高維異構(gòu)多視圖特征中選擇出一組具有區(qū)分性的緊湊特征子集作為特征表達(dá)。該方法成功地解決了現(xiàn)有特征選擇算法是針對單視圖（單特征）設(shè)計構(gòu)造的，不能直接處理多視圖特征數(shù)據(jù)，無法充分利用

5、不同視圖之間關(guān)聯(lián)性的問題。同時，提出一種局部回歸最優(yōu)化設(shè)計的主動學(xué)習(xí)算法，用于主動地對未標(biāo)注的多模態(tài)數(shù)據(jù)樣本進(jìn)行選擇，從而有效提高算法模型性能。在基于相關(guān)反饋的社交圖像檢索應(yīng)用中，本文所提算法優(yōu)于其他對比算法。
　　最后，在人體行為識別上，提出一種保持語義一致性的多模態(tài)特征融合與行為識別算法和一種多骨架特征融合與選擇算法。前者依據(jù)同一RGB-D數(shù)據(jù)樣本中不同模態(tài)數(shù)據(jù)包含相同的人體運(yùn)動語義信息的特點，挖掘和利用不同模態(tài)數(shù)據(jù)之間存在的