基于物體功能屬性上下文的人體行為表征研究.pdf

1、通過視覺理解環(huán)境及其中人類活動的研究目標(biāo)是讓視覺系統(tǒng)具備人類的視覺感知和推理能力，是計(jì)算機(jī)視覺研究的最高目標(biāo)。但由于對動態(tài)環(huán)境中人體行為和物體的感知受到運(yùn)動的非剛性和高自由度等因素的影響，使得該研究進(jìn)展相對緩慢。受到神經(jīng)科學(xué)、認(rèn)知科學(xué)和心理學(xué)的啟發(fā)，本文通過挖掘動態(tài)環(huán)境中諸多物體與人體行為的內(nèi)在關(guān)系，建立物體和行為共同上下文的表征模型，進(jìn)而協(xié)助機(jī)器人實(shí)現(xiàn)人體行為理解。本文主要工作如下:
　　(1)為縮小語義鴻溝，利用視覺屬性在圖像

2、低層特征與高層語義之間架起一座語義橋梁，實(shí)現(xiàn)圖像視覺輸入到高層語義輸出的映射。研究以物體視覺屬性作為中間表示層的模型，證明該類模型具有較好的學(xué)習(xí)遷移性;研究基于多種組合特征的視覺屬性分類算法和基于無監(jiān)督特征學(xué)習(xí)的視覺屬性分類算法，設(shè)計(jì)實(shí)驗(yàn)表明基于無監(jiān)督特征學(xué)習(xí)的視覺屬性分類方法具有更好的準(zhǔn)確率。
　　(2)推理物體及其功能屬性信息是視覺智能的一項(xiàng)基本問題，之前的大部分工作將推理問題簡化為分類問題，本文基于馬爾科夫邏輯網(wǎng)，構(gòu)建物體網(wǎng)

3、絡(luò)模式表征模型，以推理的方式解決物體功能屬性的推理問題;利用上述物體視覺屬性作為模型的中間表示層，增強(qiáng)模型對稀少樣本甚至零樣本物體的表征能力;結(jié)合人體操作物體的動作信息和互聯(lián)網(wǎng)豐富的信息源，在統(tǒng)一的框架下實(shí)現(xiàn)豐富的推理任務(wù)。
　　(3)為表征人體行為豐富的上下文信息，與人體交互的物體軌跡信息不可或缺。針對在動態(tài)家庭環(huán)境下收集的人體行為視頻中物體軌跡獲取精度不高的問題，構(gòu)造3D視頻中深度圖像信息的尺度特征，提出物體檢測追蹤融合算法，