基于深度圖像序列的三維人手運動跟蹤技術研究.pdf

1、通過計算機視覺手段來對人手運動進行分析是一個重要的研究課題，其研究內容包括人手檢測、人手運動狀態(tài)估計和行為識別，涉及圖像處理、計算機視覺、計算機圖形學、模式識別和人工智能等多個學科領域。人手運動的視覺分析具有廣闊的應用前景，其研究成果可以應用于虛擬現(xiàn)實、三維動畫、機器人模仿學習、高級人機交互、運動生物力學等多個領域。
　　本文主要研究人手運動狀態(tài)估計問題，即從視覺觀測估計出人手的全局位姿和各局部關節(jié)角度的狀態(tài)。人手運動狀態(tài)的估計是

2、人手運動分析的核心問題，是對人的行為進行準確識別的基礎。本文中的運動狀態(tài)估計問題針對的是一個視頻圖像序列，在人手運動具有連貫性的假設下，通過狀態(tài)轉移模型的引入，將針對單幀的運動狀態(tài)估計問題轉化為時間序列上的一個運動跟蹤問題。
　　通過計算機視覺來進行多關節(jié)人手運動跟蹤是十分具有挑戰(zhàn)性的，其開發(fā)受困于多個復雜因素。高維的狀態(tài)空間給全局最優(yōu)的搜索帶來了困難，導致了龐大的計算量;人手運動過程中頻繁發(fā)生的自遮擋，會導致觀測的歧義性，造成人

3、手狀態(tài)概率密度的多峰分布，加大全局最優(yōu)的搜索難度;人手運動跟蹤的狀態(tài)轉移過程和觀測過程均是非線性的，這要求跟蹤算法必須具有解決非線性問題的能力。
　　一個有效的人手運動跟蹤方案必須解決以下關鍵問題:(1)構建有效的匹配誤差函數。匹配誤差函數用于描述人手姿態(tài)向量與觀測特征之間的匹配程度，它的構建是人手運動跟蹤的基礎，直接決定跟蹤過程中全局最優(yōu)的搜索難度。好的匹配誤差函數能夠有效平滑全局最優(yōu)附近的局部極小值，降低全局最優(yōu)的搜索難度。(

4、2)開發(fā)有效的搜索方法。高維的狀態(tài)空間和多峰的概率分布對搜索方法的尋優(yōu)能力提出了很高的要求，搜索方法必須有較快的收斂速度，同時又必須具備一定的魯棒性，能夠跳出局部極小值，最終找到全局最優(yōu)。
　　圍繞上述問題，國內外的研究者們進行了大量的研究，然而，目前為止的研究成果還難以同時滿足人手運動跟蹤實時性、準確性和魯棒性的要求，離實際應用還有一段距離。本文以深度圖像序列作為觀測輸入，基于改進的粒子濾波算法，對無標記三維人手運動跟蹤的相關技

5、術進行了研究。具體來講，本文完成的主要工作包括以下幾個方面:
　　(1)建立了作為三維人手運動跟蹤基礎的人手模型和觀測模型。本文建立了26自由度的人手運動學模型，并根據解剖學因素對其施加了運動學約束。為平衡模型精確度和計算復雜度，本文以基本幾何基元建立了人手形狀模型。本文采用Kinect深度相機來獲取系統(tǒng)觀測輸入，采用深度特征信息與區(qū)域特征信息融合的方法構建了人手姿勢假設對應的模型特征圖像和觀測特征圖像之間的匹配誤差函數，建立了觀

6、測模型。
　　(2)針對粒子濾波在高維空間中進行粒子采樣的困難，將群體智能優(yōu)化方法集成到粒子濾波中，利用其強大的全局優(yōu)化能力改善粒子濾波樣本分布，提出了兩種具體的三維人手跟蹤算法。第一種算法將差分進化與粒子濾波結合，利用差分進化對當前觀測下的匹配誤差的優(yōu)化來驅動粒子向高似然概率區(qū)域運動;第二種算法將一種現(xiàn)有的粒子群優(yōu)化粒子濾波算法應用于高維空間中的人手運動跟蹤，并針對人手高維空間中的早熟收斂問題，同時采用模擬退火思想和局部隨機化技

7、術對算法進行收斂性改進。實驗證明，這兩種算法均能夠有效魯棒地跟蹤三維人手運動，第二種跟蹤算法的跟蹤精度略優(yōu)于第一種算法。
　　(3)通過采用同時為人手和物體建模的方法，研究了人手與物體交互過程的跟蹤。在現(xiàn)實世界的許多場景中，人手的活動通常是交互性的。其中，最常見的是人手與物體的交互。物體的存在增加了人手運動分析的復雜性，而另一方面，物體上下文所攜帶的有用信息會對人手運動的識別和估計起到促進作用。本文采用基于模型的方法來跟蹤人手與物

8、體的交互過程，同時為人手與物體建立三維模型和運動模型，并同時跟蹤三維空間中人手與物體的運動。本文采用單一深度圖像序列作為觀測輸入建立了觀測模型，采用改進的粒子群優(yōu)化粒子濾波作為跟蹤算法，最終形成的跟蹤方法能有效跟蹤人手與物體的交互過程。
　　(4)根據本文所提出的結合群體智能優(yōu)化與粒子濾波的跟蹤算法的特點，在充分了解圖形引擎OpenSceneGraph(OSG)內部渲染流程和多線程模型的基礎上，通過采用離屏渲染技術，開發(fā)了兩種基于