基于認(rèn)知行為模型庫和Kinect平臺(tái)的實(shí)時(shí)手勢跟蹤算法研究.pdf

1、隨著計(jì)算機(jī)與互聯(lián)網(wǎng)的發(fā)展和普及，使得人機(jī)交互與日常生活息息相關(guān)，成為了人們生活和工作中的重要一部分。人機(jī)交互技術(shù)以實(shí)現(xiàn)自然、和諧、便捷的交互為目標(biāo)，從傳統(tǒng)的以計(jì)算機(jī)為中心逐漸轉(zhuǎn)移到以人為中心。手勢是人類表達(dá)自己以及與外界進(jìn)行交互的重要手段，手勢交互作為人機(jī)交互領(lǐng)域里的一種自然、直觀和易于學(xué)習(xí)的交互手段，有著十分廣闊的應(yīng)用前景。
　　基于視覺的手勢交互是當(dāng)前人機(jī)交互領(lǐng)域里的一個(gè)重要研究方向，該交互具有遠(yuǎn)距離和非接觸式的特點(diǎn)，符合人們

2、的日常交流習(xí)慣?；谝曈X的手勢識(shí)別、手勢跟蹤與手勢交互是新一代人機(jī)交互不可或缺的關(guān)鍵技術(shù)?；谝曈X的手勢跟蹤是指通過輸入設(shè)備獲得人手運(yùn)動(dòng)的視頻信息，由圖像分割技術(shù)獲取每一幀的人手分割，在此基礎(chǔ)上實(shí)現(xiàn)人手姿態(tài)的預(yù)測和跟蹤，并通過三維虛擬人手模型來實(shí)時(shí)顯示跟蹤結(jié)果。本文在分析與總結(jié)國內(nèi)外相關(guān)研究的基礎(chǔ)上，針對基于Kinect的人手分割和基于認(rèn)知行為模型的人手跟蹤進(jìn)行了研究，進(jìn)而設(shè)計(jì)一種實(shí)時(shí)性好、魯棒性和精度高的三維手勢跟蹤方法。主要研究內(nèi)容

3、和創(chuàng)新點(diǎn)體現(xiàn)在以下幾個(gè)方面:
　　(1)研究認(rèn)知行為模型，建立人手運(yùn)動(dòng)特征的微觀結(jié)構(gòu)庫
　　在特定的交互情景下，人手的運(yùn)動(dòng)是有規(guī)律可循的。本文以認(rèn)知理論為指導(dǎo)，在沒有人為干預(yù)的情況下，在基于數(shù)據(jù)手套的跟蹤平臺(tái)上進(jìn)行實(shí)驗(yàn)。對實(shí)驗(yàn)中人手的運(yùn)動(dòng)規(guī)律進(jìn)行分析、歸納和總結(jié)，對手勢交互過程中的認(rèn)知過程、交互階段以及每個(gè)階段的人手運(yùn)動(dòng)微觀結(jié)構(gòu)進(jìn)行研究，形成認(rèn)知行為模型庫。進(jìn)而，揭示手勢的運(yùn)動(dòng)規(guī)律和交互特征，為設(shè)計(jì)手勢的跟蹤和交互算法提供一

4、個(gè)新的角度和依據(jù)。
　　(2)基于人手運(yùn)動(dòng)特征的微觀結(jié)構(gòu)，改進(jìn)預(yù)測和采樣方法，提出基于微觀結(jié)構(gòu)特征的三維手勢跟蹤方法
　　目前基于粒子濾波的手勢跟蹤方法一般利用當(dāng)前幀手勢的圖像和上一幀手勢的狀態(tài)信息來獲取當(dāng)前手勢的狀態(tài)。與此相比，本文算法的創(chuàng)新點(diǎn)在于以行為分析和過程建模為切入點(diǎn)，探討建立微觀結(jié)構(gòu)模型與當(dāng)前手勢之間的數(shù)學(xué)聯(lián)系。把獲取當(dāng)前幀手勢的狀態(tài)建立在認(rèn)知行為模型的基礎(chǔ)上，而不僅僅以少數(shù)局部幀的信息為基礎(chǔ)，為粒子濾波算法中的

5、預(yù)測和粒子生成過程提供了一種統(tǒng)一高效的數(shù)據(jù)結(jié)構(gòu)和方法，提高了跟蹤的精度和速度，實(shí)現(xiàn)了實(shí)時(shí)、高效的手勢交互。
　　(3)基于Kinect的人手分割
　　因?yàn)榛趥鹘y(tǒng)RGB攝像頭的人手分割魯棒性較差，容易受到光照和復(fù)雜背景的影響，本文采用微軟的Kinect傳感器來獲取深度數(shù)據(jù)，通過使用OpenNI自帶的類獲取人手所在的位置，然后在人手坐標(biāo)領(lǐng)域的三維空間內(nèi)提取出手的部位，接著運(yùn)用膚色模型的分割方法對獲得的人手部位再進(jìn)行處理，最后對