基于視覺的大范圍頭部姿態(tài)跟蹤關(guān)鍵技術(shù)研究.pdf

1、三維頭部姿態(tài)跟蹤(3D head pose tracking)是計算機視覺和人機交互領(lǐng)域中的重要問題，也是近年來越來越引起重視的研究方向，其主要目的是通過對輸入圖像序列的分析確定頭部在三維空間中的姿態(tài)參數(shù)。三維頭部姿態(tài)跟蹤技術(shù)在人機交互、智能監(jiān)控、視頻壓縮編碼、人臉識別、表情識別、疲勞檢測、基于身體控制的游戲和娛樂等領(lǐng)域有廣泛的應(yīng)用前景。
　　 目前常用的頭部姿態(tài)估計方法可以分成兩大類：基于統(tǒng)計學習的方法和基于注冊跟蹤的方法。基

2、于統(tǒng)計學習的方法假設(shè)頭部姿態(tài)參數(shù)和人臉的某些特征之間存在一定的對應(yīng)關(guān)系，并通過對大量具有不同姿態(tài)的樣本圖像進行訓練來確定這種關(guān)系。此類方法容易受到特征定義的影響，并且往往要對姿態(tài)參數(shù)進行插值操作，因此結(jié)果不夠精確?；谧愿櫟姆椒ㄍǔ＜僭O(shè)頭部為剛性物體，通過幀與幀之間的特征點跟蹤計算姿態(tài)參數(shù)。所選擇的特征在不同的實現(xiàn)中有很大的差異。一種方法是選擇嘴角、鼻尖和眼角等顯著特征點進行跟蹤，當所選的特征點被遮擋時會影響跟蹤結(jié)果。另一種方法是在

3、跟蹤過程中動態(tài)選擇特征點，當一些特征點丟失后自動進行補充，此類方法有更魯棒的表現(xiàn)?？傮w來說，基于注冊跟蹤的方法易于實現(xiàn)，同時具有較高的跟蹤精度。
　　 已有的頭部姿態(tài)跟蹤算法大都假設(shè)被跟蹤對象沒有身體運動或者很小的身體運動，如用戶坐在椅子上的情況。人們在日常生活中很多時候都是通過頭部姿態(tài)來表達自己的注意力方向、態(tài)度和心理感受的，而在這些活動中，人們可能是坐在固定位置，也有可能是在身體運動過程中的。這里我們定義身體運動情況下的頭部

4、姿態(tài)跟蹤為大范圍頭部姿態(tài)跟蹤。相對于傳統(tǒng)的小范圍頭部姿態(tài)跟蹤技術(shù)，大范圍頭部姿態(tài)跟蹤技術(shù)可以更方便的應(yīng)用在人機交互、智能監(jiān)控和行為識別等多個領(lǐng)域。
　　 本文選用基于注冊的方法來解決大范圍頭部姿態(tài)跟蹤問題，但是當人體大范圍運動時，過大的姿態(tài)參數(shù)變化會降低注冊算法的精度，逐幀跟蹤的方法在長時間跟蹤后會導致一定的誤差累計，并且為了進行三維姿態(tài)參數(shù)計算，還需要提供對應(yīng)頭部特征點的深度信息。因此，本文提出基于局部特征描述符的注冊算法和視

5、角表觀模型相結(jié)合的跟蹤方法，該方法將整個姿態(tài)跟蹤過程分為三個主要部分：一是獲取視頻信息和對應(yīng)的深度信息，深度信息既可以使用立體攝像機獲得也可以通過立體匹配技術(shù)獲得；二是通過基于局部描述符的注冊算法計算兩幀之間的姿態(tài)參數(shù)變化；三是使用外觀模型消除跟蹤過程中的誤差累計。與以前的工作相比，本文主要有以下幾個方面的貢獻：
　　 1.提出一種基于尺度不變特征變換(Scale-Invariant Feature Transform，以下簡稱

6、SIFT)描述符的注冊算法。首先在兩幀灰度圖像中找到匹配的SIFT特征點，然后通過立體攝像機或者立體匹配技術(shù)獲得這些匹配點的深度信息，為了克服錯誤匹配點的影響，最后使用基于隨機抽樣一致性(RANSAC)的運動估計方法來計算頭部運動。基于SIFT特征匹配的注冊算法具有較高的跟蹤精度，當兩幀圖像間發(fā)生一定尺度變化時仍然可以完成跟蹤，是一種適合大范圍頭部姿態(tài)跟蹤的注冊算法。該算法是第一個針對大范圍頭部姿態(tài)跟蹤提出的注冊算法，在領(lǐng)域內(nèi)產(chǎn)生了一定

7、的影響，我們發(fā)表的介紹該算法的文章已被多個國際同行引用。
　　 2.提出一種緊湊的特征描述符KPB-SIFT(Kernel Proiection Based SIFT，以下簡稱KPB-SIFT)。首先使用SIFT檢測算法計算特征點的位置、尺度和主方向，然后通過對特征點鄰域內(nèi)的有向梯度信息進行核映射的方式獲得低維描述符。與SIFT相比，KPB-SIFT可顯著提高描述符的匹配速度，并且具有較強的區(qū)分度，在發(fā)生光照變化和幾何形變等情況

8、下都有魯棒的表現(xiàn)。
　　 3.提出一種視角表觀模型。該模型通過多次注冊的方法消除逐幀跟蹤時的誤差累計，其原理就是當前幀除了和它的前一幀進行注冊外，還可以和一兩個關(guān)鍵幀進行多次注冊以減少誤差累積。具體來說，就是從輸入序列中選擇一些關(guān)鍵幀組成描述頭部的表觀模型，每個關(guān)鍵幀都被附加上對應(yīng)的姿態(tài)參數(shù)，除此外還對每個關(guān)鍵幀精確提取頭部區(qū)域作為頭部視角，當被跟蹤對象大范圍運動時，只要當前幀的頭部視角與模型中的關(guān)鍵幀頭部視角接近時，當前幀就與

9、關(guān)鍵幀進行注冊。多次注冊的結(jié)果通過卡爾曼濾波器(Kalman filter)進行平滑已獲得最終的姿態(tài)參數(shù)。視角表觀模型不僅可以減少跟蹤過程中的誤差累計，在頭部進出攝像機視角、頭部離攝像機較遠等情況下，視角表觀模型還可以用來快速恢復(fù)頭部姿態(tài)參數(shù)。
　　 4.提出一種適合稠密立體匹配的快速局部特征描述符(Speeded-Up LocalDescriptor，以下簡稱SULD)，用來作為立體匹配過程中的對應(yīng)點查找方法。為了生成局部描述

10、符，首先使用哈爾(Haar)函數(shù)對圖像進行濾波，其次對濾波響應(yīng)圖進行多次高斯平滑，然后計算采樣點并獲得采樣向量，最后對采樣向量進行歸一化并生成描述符。通過使用Haar函數(shù)響應(yīng)信息和緊湊的描述符形式，SULD方法在描述符生成階段和匹配階段都可以快速的進行計算。使用SULD描述符作為相似度評價方法，可以解決人臉等弱紋理圖像的立體匹配問題，進而生成對應(yīng)的深度信息，為基于單目攝像機的頭部姿態(tài)跟蹤提供深度約束。頭部深度信息還可以在人機交互、表情識

11、別、游戲和娛樂等領(lǐng)域得到廣泛的應(yīng)用。
　　 在整個研究過程中，還實現(xiàn)了一個集視頻采集、深度獲取、姿態(tài)計算和結(jié)果評測與一體的頭部姿態(tài)跟蹤原型系統(tǒng)-HPObserver。HPObserver為驗證各關(guān)鍵技術(shù)和后續(xù)研究工作提供了一個完整方便的測試平臺。
　　 使用多組頭部運動序列進行的實驗表明，提出的方法能完成對頭部運動的跟蹤，即使在人體大范圍運動、頭部進出攝像機視角、人臉部分遮擋、臉部表情明顯變化等情況下都能魯棒的完成跟蹤。