基于改進(jìn)VLMM和手勢分析的自然人手三維跟蹤方法研究.pdf

1、隨著人機(jī)交互技術(shù)的發(fā)展，自然、方便、和諧的交互方式正逐漸成為人機(jī)交互技術(shù)的發(fā)展方向。人手作為一種自然、直觀的交互方式，在人機(jī)交互過程中的作用越來越突出、越來越重要。基于視覺的自然人手跟蹤對于智能人機(jī)交互的理論和應(yīng)用的深化，特別是在虛擬現(xiàn)實(shí)中的應(yīng)用，具有重要的研究價(jià)值和應(yīng)用前景。
　　 基于模型跟蹤方法的實(shí)質(zhì)是，建立三維手勢模型特征與手勢圖像特征之間的對應(yīng)關(guān)系，通過能夠觀測到的手勢二維圖像特征與三維模型進(jìn)行匹配，從而找出最優(yōu)的手勢

2、模型。然而人手是一個(gè)多關(guān)節(jié)的復(fù)雜的非剛性結(jié)構(gòu)，不僅具有高自由度，而且其本身帶有歧義性、多樣性和時(shí)空差異，使得基于模型的自然人手跟蹤本身就是一件非常困難的事情，是一個(gè)極具挑戰(zhàn)性的課題。本課題以“面向人手三維跟蹤的粒子濾波器的實(shí)時(shí)性和魯棒性問題研究，國家自然科學(xué)基金(No.60973093)”等項(xiàng)目為依托，對運(yùn)動(dòng)人手三維跟蹤方法進(jìn)行相關(guān)研究。
　　 本文使用當(dāng)前最流行的連續(xù)動(dòng)態(tài)特征序列語義建模的一種工具——概率圖模型(Probabi

3、listic Graphical Models)，并受“牛頓第一定律”的啟發(fā)，對自然人手的運(yùn)動(dòng)跟蹤進(jìn)行學(xué)科交叉的討論和研究，提出基于改進(jìn)VLMM和手勢分析的自然人手三維跟蹤方法。本文的主要貢獻(xiàn)包括以下幾點(diǎn)：
　　 (1)建立特定交互任務(wù)的產(chǎn)生式模型——可變長度馬爾可夫模型
　　 借助建立的虛擬裝配系統(tǒng)獲取不同操作者完成同一交互任務(wù)的手勢數(shù)據(jù)，并將其作為訓(xùn)練數(shù)據(jù)，學(xué)習(xí)可變長度的馬爾可夫模型。在模型的訓(xùn)練中，選取手勢作為研究

4、對象，即一段時(shí)間軸上連續(xù)的手形。選擇手勢為研究點(diǎn)，既可以減少人手高自由度引起的巨大計(jì)算量，又可以降低畸形手勢的出現(xiàn)概率，充分考慮關(guān)節(jié)之間的關(guān)聯(lián)性。
　　 (2)提出一種基于可變長度馬爾可夫模型的人手跟蹤方法
　　 在粒子濾波方法的基礎(chǔ)上，提出一種將粒子濾波和可變長度馬爾可夫模型相結(jié)合的算法，通過狀態(tài)預(yù)測有效約束采樣可信區(qū)間，使粒子采樣具有方向性，降低粒子濾波算法的時(shí)間開銷，提高算法的跟蹤速度；同時(shí)，在重采樣過程中選用PE

5、RM(Pruned-EnrichedRosenbluth Method)方法，替代標(biāo)準(zhǔn)重采樣方法，其既能避免權(quán)值小的粒子的丟失，又能抑制權(quán)值大的粒子的重復(fù)復(fù)制，增強(qiáng)粒子的多樣性。實(shí)驗(yàn)結(jié)果表明，與粒子濾波算法比較，這種算法可以大幅度提高跟蹤的速度，較好地保證重采樣粒子的多樣性，改善跟蹤算法的精度。
　　 (3)基于牛頓第一定律，進(jìn)行手勢運(yùn)動(dòng)建?！岢鲆环N慣性時(shí)間模型
　　 受牛頓第一定律的啟發(fā)，在與虛擬裝配系統(tǒng)進(jìn)行交互的

6、過程中，人手運(yùn)動(dòng)必然存在慣性特征。以虛擬裝配系統(tǒng)作為基本背景，以減少參與隨機(jī)采樣的粒子個(gè)數(shù)為目的，對操作者在該過程中的人手運(yùn)動(dòng)特征進(jìn)行分析，發(fā)現(xiàn)了人手運(yùn)動(dòng)過程平穩(wěn)階段的特征，提出并命名為慣性時(shí)間模型。在慣性時(shí)間模型的運(yùn)動(dòng)時(shí)間內(nèi)進(jìn)行手勢跟蹤，不再需要學(xué)習(xí)和采集樣本，只要按照手勢的慣性進(jìn)行運(yùn)動(dòng)跟蹤即可。慣性時(shí)間越長，我們需要采集的樣本數(shù)目就越少，需要學(xué)習(xí)的動(dòng)作也越少，算法的時(shí)間消耗就越少，需要的訓(xùn)練樣本也越少。
　　 (4)提出一種

7、基于慣性時(shí)間模型的人手跟蹤算法
　　 以基于可變長度馬爾可夫模型的算法為基礎(chǔ)，融合慣性時(shí)間模型，模型中每個(gè)狀態(tài)只需學(xué)習(xí)動(dòng)態(tài)序列開始和結(jié)束的典型手勢，中間的手勢可以根據(jù)慣性運(yùn)動(dòng)獲得，這樣可以減少模型學(xué)習(xí)訓(xùn)練的動(dòng)作，減少模型訓(xùn)練時(shí)所需的大量樣本，并對學(xué)習(xí)之外的行為可根據(jù)運(yùn)動(dòng)的慣性特征進(jìn)行預(yù)測。同時(shí)，在慣性時(shí)間模型之后引入中途檢測機(jī)制，仿照粒子濾波的采樣原理，當(dāng)慣性結(jié)束時(shí)需要用采樣的方法來修正，保證跟蹤的準(zhǔn)確性。實(shí)驗(yàn)表明，該算法對于人