序列圖像中手勢跟蹤與識別技術的研究.pdf

1、基于動態(tài)序列圖像的生物特征識別已成為近年來計算機視覺領域中備受關注的研究內容，它主要從圖像序列中檢測、識別、跟蹤人及對其生物特征理解和描述加以研究。人的生物特征識別在虛擬現(xiàn)實、人機交互、視覺監(jiān)控等領域均有著廣闊的應用，基于視覺的手勢跟蹤與識別研究就是其重要內容。由于手勢具有多樣性、多義性、手的復雜變形性、視覺本身的不適定性以及手勢在時間和空間上的差異性等特點，因此基于視覺的的手勢跟蹤與識別是一個多學科交叉的富有挑戰(zhàn)性的研究課題。

2、 一個完整的基于視覺的圖像序列中手勢跟蹤與識別系統(tǒng)，通常包含下面三個部分：手的檢測、分割，手勢跟蹤與手勢識別。 手勢分割就是將有意義的區(qū)域（手）從手勢圖像中劃分出來，是基于視覺的手勢識別過程中的最為關鍵的一步，手勢分割的好壞直接影響后續(xù)的手勢跟蹤、手勢特征提取及手勢識別結果。對圖像序列中包含的手勢進行跟蹤（二維跟蹤），即對投影到圖像平面的手進行定位和跟蹤，是手勢識別的關鍵。手勢識別則是把模型參數(shù)空間中的軌跡（或點）分類到該空間中

3、某個子集的過程。 本文主要研究了用于人機交互的手勢跟蹤與識別，分別對目標分割算法，手勢跟蹤算法與識別算法進行深入研究。主要工作總結如下： 1．首先提出一種基于膚色信息的自適應輪廓模型實現(xiàn)手部輪廓的提取。鑒于這種自適應輪廓模型對于具有凹形邊界的輪廓不能實現(xiàn)準確提取，本文又提出一種自適應形狀模型實現(xiàn)具有凸形與凹形兩類邊界輪廓的準確提取方法。 這種自適應活動輪廓模型是一種改進的Snake模型，它使輪廓線能夠自適應地收縮

4、或膨脹，降低了對初始輪廓的敏感性，在視覺跟蹤中不需在當前幀中重新初始化，只需進行目標定位，較好地解決了Snake模型及Snake跳躍模型的不足，保證了對目標輪廓的準確提取。鑒于這種自適應輪廓模型對于具有凹形邊界的輪廓不能實現(xiàn)準確提取，本文又提出一種自適應形狀模型，并運用拆分和聚合技術對該形狀模型表示的‘中間輪廓’進行修正，實現(xiàn)具有凸形與凹形兩類邊界輪廓的準確提取。 2．提出了一種基于各向異性核函數(shù)的均值漂移跟蹤算法，實現(xiàn)圖像序列

5、中區(qū)域跟蹤的穩(wěn)健性、有效性和實時性。并且，融合均值漂移算法與自適應輪廓模型實現(xiàn)了圖像序列中的手部輪廓跟蹤。 該算法提出了一種形狀、大小、方向能自適應于目標局部結構的變化的各向異性核函數(shù)，將其應用于均值漂移算法實現(xiàn)目標跟蹤，保證了跟蹤效果的穩(wěn)定性和魯棒性。而均值漂移與自適應輪廓模型的融合算法，能夠根據(jù)跟蹤區(qū)域模板與目標模板的相似性度量Bhattacaryya系數(shù)給出在跟蹤目標被遮擋時的處理方法，有效地解決了目標跟蹤的這一難題。

6、 3．基于上述區(qū)域跟蹤結果，利用手輪廓的方向直方圖實現(xiàn)用于人機交互的靜態(tài)手勢識別；基于上述輪廓跟蹤結果，利用隱馬爾可夫模型實現(xiàn)用于人機交互的動態(tài)手勢識別。 方向直方圖滿足手勢識別中對光照變化的不敏感性和手勢平移、旋轉不變性等要求，并且可有效的表示手勢特征?；趨^(qū)域跟蹤結果，利用手輪廓的方向直方圖本文實現(xiàn)了用于人機交互的靜態(tài)手勢識別；基于輪廓跟蹤結果，同時應用手形及手部運動兩大特征作為隱馬爾可夫模型的輸入實現(xiàn)了動態(tài)手勢識別，提

7、高了手勢識別率，也達到了實時性的效果，且不必依賴數(shù)據(jù)手套等設備。 4．提出一種新的基于范例集的跟蹤器（CEE（CAMSHIFT Embedded Exemplar））跟蹤器，在圖像序列中同時實現(xiàn)手勢跟蹤與識別。 為克服基于范例集的手勢跟蹤不能實現(xiàn)復雜場景下手部輪廓特征的精確提取及手部動作的不準確預測，本文提出一種新的基于范例集的跟蹤器（CEE跟蹤器），充分利用跟蹤目標的運動信息與顏色信息實現(xiàn)復雜場景下手勢的準確跟蹤，而且