基于三維模型的單目圖象序列頭部姿態(tài)跟蹤.pdf

1、頭部姿態(tài)跟蹤(Head Pose Tracking)是智能人機(jī)交互和計(jì)算機(jī)視覺(jué)研究中的一項(xiàng)基本課題，也是近年來(lái)人們?cè)絹?lái)越感興趣的一個(gè)研究方向。頭部姿態(tài)跟蹤的主要目的是在一組包含頭部的圖像序列中計(jì)算得到頭部在三維空間中的姿態(tài)參數(shù)。頭部姿態(tài)跟蹤在表情識(shí)別、人臉識(shí)別、姿態(tài)理解、視頻會(huì)議、智能監(jiān)控、疲勞檢測(cè)、虛擬現(xiàn)實(shí)、游戲和娛樂(lè)等方面都具有廣闊的應(yīng)用前景。 針對(duì)僅有一個(gè)攝像機(jī)獲取的單目視頻圖像序列的情況，本文將頭部三維模型引入到姿態(tài)跟蹤

2、框架以提供初始深度信息。整個(gè)姿態(tài)跟蹤框架可以分成三大部分，分別是構(gòu)造初始頭部模型，幀間姿態(tài)跟蹤以及持續(xù)跟蹤時(shí)的魯棒性處理。 在初始化頭部模型階段，使用立體攝像機(jī)捕獲到的初始幀深度信息和橢球幾何模型分別構(gòu)造兩個(gè)頭部模型供跟蹤系統(tǒng)使用。在系統(tǒng)中，將立體攝像機(jī)生成的模型稱為真實(shí)頭部模型，將橢球模型估計(jì)得到的幾何橢球稱為幾何頭部模型。初始頭部模型為幀間姿態(tài)跟蹤提供了深度信息。系統(tǒng)中我們利用region-basedcorrelation算

3、法查找?guī)g頭部2-D特征點(diǎn)對(duì)應(yīng)關(guān)系，并利用線性灰度約束方程求解幀間姿態(tài)參數(shù)。 針對(duì)持續(xù)跟蹤過(guò)程中出現(xiàn)的誤差積累，頭部尺度變化，臉部表情變化以及頭部被遮蔽后的運(yùn)動(dòng)姿態(tài)恢復(fù)等問(wèn)題，本文提出了基于SIFT特征向量的多層視角外觀模型來(lái)恢復(fù)當(dāng)前幀的姿態(tài)參數(shù)。首先，通過(guò)選取具有不同頭部姿態(tài)的關(guān)鍵幀在線生成多層視角外觀模型。在視角模型生成過(guò)程中，系統(tǒng)會(huì)提取并保存每個(gè)關(guān)鍵幀的頭部SIFT特征向量。其次，每當(dāng)當(dāng)前幀需要和外觀模型進(jìn)行配準(zhǔn)求解姿態(tài)參

4、數(shù)時(shí)，就可以利用啟發(fā)式2NN算法選取與當(dāng)前幀的SIFT特征向量匹配個(gè)數(shù)最多的兩個(gè)關(guān)鍵幀作為基準(zhǔn)幀，并分別與當(dāng)前幀進(jìn)行SIFT特征配準(zhǔn)。最終，把通過(guò)卡爾曼濾波平滑后的配準(zhǔn)結(jié)果作為當(dāng)前幀的姿態(tài)并根據(jù)該值動(dòng)態(tài)調(diào)整外觀模型的內(nèi)部參數(shù)。 與以前的工作相比，本文主要有以下兩點(diǎn)創(chuàng)新：首先，通過(guò)引入基于SIFT特征向量的多層視角外觀模型，在考慮頭部尺度變化，臉部表情劇烈變化以及頭部被遮蔽等因素時(shí)，跟蹤仍然可以達(dá)到較高的精度。其次，對(duì)使用真實(shí)模型