基于交互分析的人手三維跟蹤方法研究.pdf

1、基于自然人手的交互界面是近年來(lái)人機(jī)交互領(lǐng)域(HCI)的一個(gè)研究熱點(diǎn),運(yùn)動(dòng)人手的三維跟蹤技術(shù)則是其中一個(gè)關(guān)鍵性和基礎(chǔ)性問(wèn)題。對(duì)該課題的深入研究,不僅是對(duì)人機(jī)交互理論及應(yīng)用的進(jìn)一步推進(jìn),更是對(duì)其所涉及的諸如人工智能、計(jì)算機(jī)視覺(jué)、人機(jī)交互理論及虛擬現(xiàn)實(shí)等交叉學(xué)科的實(shí)際應(yīng)用有著重要意義。
　　 基于交互分析的人手三維跟蹤的主要任務(wù),是通過(guò)攝像頭對(duì)人手運(yùn)動(dòng)進(jìn)行連續(xù)捕捉,利用對(duì)手勢(shì)的交互分析及跟蹤理論進(jìn)行指導(dǎo),在計(jì)算機(jī)中重構(gòu)出與之相對(duì)應(yīng)的三

2、維人手的位置和姿態(tài),“亦步亦趨”的實(shí)現(xiàn)真實(shí)人手的各種動(dòng)作,為更加自然方便的基于自然人手的人機(jī)交互界面的實(shí)現(xiàn)奠定良好基礎(chǔ)。本課題側(cè)重于單目視覺(jué)條件下的人手三維跟蹤,其本質(zhì)在于利用t-1時(shí)刻三維人手模型參數(shù)和當(dāng)前t時(shí)刻幀圖像中的手勢(shì)觀測(cè)信息,對(duì)t時(shí)刻的三維人手模型的各個(gè)參數(shù)進(jìn)行濾波和預(yù)測(cè),以達(dá)到對(duì)人手跟蹤之目的。
　　 相對(duì)于人手二維跟蹤,三維跟蹤技術(shù)中存在著更多的技術(shù)難點(diǎn)。因?yàn)槿耸质嵌嚓P(guān)節(jié)的非剛性復(fù)雜物體,有著較高的自由度(deg

3、ree of freedom,DOF),一般可達(dá)26個(gè)自由度,在人手的運(yùn)動(dòng)過(guò)程中,手掌和手指的狀態(tài)不斷發(fā)生著變化,如此高的特征向量維度直接導(dǎo)致了龐大的計(jì)算量,致使時(shí)間開(kāi)銷過(guò)大,這是制約交互跟蹤中實(shí)時(shí)性的一個(gè)瓶頸。而且,如何從視頻手勢(shì)幀圖像中獲取三維人手模型的對(duì)應(yīng)參數(shù)本身就是一個(gè)具有挑戰(zhàn)性的課題。
　　 本文依托國(guó)家自然科學(xué)基金(60773109,60973093)“面向?qū)崟r(shí)性和魯棒性的自然人手粒子濾波跟蹤方法研究”以及山東省自然

4、科學(xué)基金(2006G03)“虛擬樣機(jī)人機(jī)交互界面設(shè)計(jì)中自然人手的跟蹤方法研究”等項(xiàng)目,對(duì)在運(yùn)動(dòng)人手的三維跟蹤技術(shù)中的幾個(gè)關(guān)鍵問(wèn)題進(jìn)行了討論和研究。其中,重點(diǎn)對(duì)人手的運(yùn)動(dòng)過(guò)程進(jìn)行交互分析,建立與該階段相應(yīng)的交互模型對(duì)跟蹤進(jìn)行指導(dǎo)和約束,以達(dá)到改善跟蹤精度和實(shí)時(shí)性的目的。以下是本文的創(chuàng)新貢獻(xiàn):
　　 1、靈活的人手3D模型
　　 良好的人手3D模型是本課題的基礎(chǔ)性工作,首先,利用級(jí)聯(lián)坐標(biāo)系的方法詳細(xì)介紹了一種新的手勢(shì)模型三維

5、模型的建立,著重改善了傳統(tǒng)大拇指的設(shè)計(jì)缺陷,使人手模型在各個(gè)自由度都能夠靈活的模擬真實(shí)人手的活動(dòng);然后,通過(guò)對(duì)自由運(yùn)動(dòng)人手的分析,對(duì)數(shù)據(jù)手套和位置跟蹤儀結(jié)合擰制人手模型提出了具體的實(shí)現(xiàn)方法。
　　 2、提出了手勢(shì)分割及手勢(shì)特征提取方法
　　 為了對(duì)跟蹤提供較好的手勢(shì)觀測(cè)特征結(jié)果,提出了一種快速、準(zhǔn)確的復(fù)雜背景下手勢(shì)特征檢測(cè)方法。首先利用基于膚色亮度的手勢(shì)分割方法將手勢(shì)提取出來(lái),獲得手勢(shì)輪廓,然后針對(duì)不同手型利用改進(jìn)的曲率

6、算法對(duì)輪廓點(diǎn)進(jìn)行初步篩選,最后通過(guò)對(duì)候選點(diǎn)區(qū)域內(nèi)分布特點(diǎn)的分析最終確定特征點(diǎn)位置。并進(jìn)一步提出了新的特征點(diǎn)分離算法。與已有算法相比較,主要?jiǎng)?chuàng)新在于提出了基于亮度分布的膚色模型,增強(qiáng)了手勢(shì)分割的魯棒性;引入了手型分析尺度和特征點(diǎn)分布分析,對(duì)手勢(shì)特征位置由粗到精進(jìn)行檢測(cè),改善了算法的精度和時(shí)間開(kāi)銷。
　　 3、提出了基于交互分析的人手三維跟蹤方法
　　 本文提出的跟蹤算法建立在對(duì)基于3D手勢(shì)的虛擬裝配人機(jī)交互系統(tǒng)中對(duì)手勢(shì)交互

7、行為理解的基礎(chǔ)上,著重對(duì)交互過(guò)程進(jìn)行分析整理,以基于模型的跟蹤方法為基礎(chǔ),采用“分而治之”的策略將整個(gè)交互行為在初始化階段、操作階段和選擇階段逐個(gè)分析處理。首先,在初始化階段提出了一種新的自動(dòng)3D手勢(shì)模型參數(shù)初始化方法,通過(guò)操作者和計(jì)算機(jī)之間不斷“相互”調(diào)整最終獲取最佳的3D手勢(shì)模型初始參數(shù)。在后兩個(gè)階段分別建立相應(yīng)的交互模型對(duì)跟蹤算法進(jìn)行指導(dǎo)和約束:在操作階段,通過(guò)高斯過(guò)程動(dòng)態(tài)模型方法建立操作階段的交互手勢(shì)模型庫(kù);在選擇階段,通過(guò)對(duì)多

8、種選擇方式進(jìn)行交互分析及對(duì)比,選定最佳的選擇動(dòng)作,對(duì)其在軌跡、時(shí)間、愉悅度和反饋信息等多角度進(jìn)行建模及優(yōu)化,建立選擇階段的交互模型庫(kù)。兩個(gè)階段的交互模型作為對(duì)本階段粒子濾波算法采樣的約束和指導(dǎo),避免了在高維空間的盲目采樣,從而改善整個(gè)裝配過(guò)程中的人手運(yùn)動(dòng)跟蹤方法的跟蹤精度實(shí)時(shí)性。
　　 本文在交互分析這一全新角度對(duì)運(yùn)動(dòng)人手三維跟蹤方法提出一種思路,并通過(guò)虛擬裝配平臺(tái)與國(guó)內(nèi)外其它算法在跟蹤精度和時(shí)間消耗等方面進(jìn)行對(duì)比,驗(yàn)證了算法的