基于多模型融合的人手三維跟蹤研究.pdf

1、近幾年來，人與計算機的交互活動越來越成為人們日常生活的一個重要組成部分，特別是研究符合人際交流習慣的新穎人機交互(Human Computer Interaction，HCI)異?；钴S，人們希望能夠更有效更自然地與計算機進行交流。而傳統(tǒng)的以鍵盤、鼠標、手柄等為主要工具的人機交互技術，在很多情況下，不能確切地、直接地、自然地表達人們的意圖，從而不能夠實現(xiàn)和諧的人機交流。所以，基于視覺的自然人手跟蹤是智能人機交互中的一個重要研究課題，也是國

2、內外計算機視覺領域的研究熱點。
　　 基于視覺的自然人手跟蹤的主要任務，是通過攝像頭對自然人手的運動進行實時捕捉，利用圖像處理算法和跟蹤算法獲得自然人手運動信息，利用獲得的人手信息在計算機中重構出當前自然人手的姿勢和狀態(tài)，真實再現(xiàn)人手的各種運動，為實現(xiàn)和諧、自然、方便的HCI界面奠定良好基礎。
　　 本文研究側重于單目視覺條件下的自然人手跟蹤。因為人手本身是一個復雜的、非剛性的、多鏈接的物體，其人手姿態(tài)本身具有多樣性和復

3、雜性。所以，自然人手在單目視覺下跟蹤必然存在一些多變的因素，如何保證在單目視覺下的自然人手具有較高的精度和較好的實時性，是一個極其富有挑戰(zhàn)性和研究性的課題。本論文依托國家自然科學基金(61173079，60973093，60873089)和山東省自然科學基金重點項目(ZR2011FZ003)資助來研究的。
　　 本文結合跟蹤理論和認知心理學等相關學科，對三維人手跟蹤方法進行了改進，提出了基于多模型融合的人手三維跟蹤方法。主要創(chuàng)新

4、點如下：
　　 (l)基于認知實驗的狀態(tài)預測模型
　　 建立良好的預測模型是提高跟蹤精度的基礎，本論文是根據(jù)虛擬交互實驗和BenShneiderman的行為心理學理論來建立人手模型。首先，利用數(shù)據(jù)手套和位置跟蹤儀建立基于數(shù)字手套的虛擬裝配平臺。其次，結合人手的行為理解和描述，利用數(shù)據(jù)手套和位置跟蹤儀獲得自然狀態(tài)下人手運動的數(shù)據(jù)。再次，根據(jù)人類行為的一個普遍特征就是階段性，將人手運動過程分為自然狀態(tài)、運動狀態(tài)和交互狀態(tài)三個

5、階段，按這三個階段對虛擬裝配平臺下獲取的人手數(shù)據(jù)進行分析，得到基于認知實驗的人手狀態(tài)預測模型。
　　 (2)基于局部分析的預測模型
　　 為了得到更為精確的跟蹤結果，本論文對人手跟蹤過程中得到的人手狀態(tài)變化的數(shù)據(jù)進行處理。首先，取n維人手跟蹤結果的數(shù)據(jù)，利用二次多項式進行數(shù)據(jù)擬合。其次，將Sigma點的分布用于已得到的人手跟蹤數(shù)據(jù)來獲得人手狀態(tài)的樣本點，從而得到基于局部分析得人手狀態(tài)預測模型。該方法用Sigma點轉換來減

6、小人手跟蹤過程中虛擬場景中重構人手和現(xiàn)實世界中自然人手匹配的誤差，從而提高人手跟蹤的精度。
　　 (3)提出了基于多模型融合的人手三維跟蹤算法
　　 本論文提出的跟蹤算法是建立在基于認知實驗的人手狀態(tài)預測模型和基于局部分析預測模型的基礎上進行的，將這兩個模型信息分別與現(xiàn)實世界的人手信息（即當前幀圖像的信息）進行相似度匹配，根據(jù)匹配度對兩個模型信息加權融合，這樣每幀都會用不同的權值來調節(jié)這兩個模型的組合，來約束和指導粒子濾