面向人機(jī)交互的常見(jiàn)桌面手勢(shì)識(shí)別.pdf

1、自第三次科技革命以來(lái)，計(jì)算機(jī)技術(shù)的迅猛發(fā)展大大促進(jìn)了人類(lèi)文明的現(xiàn)代化。伴隨著計(jì)算機(jī)技術(shù)的發(fā)展，人機(jī)交互的方式也不斷革新，從傳統(tǒng)的鼠標(biāo)鍵盤(pán)到現(xiàn)在流行的觸摸屏，再到更先進(jìn)一點(diǎn)的語(yǔ)音控制，其特點(diǎn)也越來(lái)越人性化越來(lái)越以人為本。手勢(shì)交互作為一種新穎的人機(jī)交互方式在近些年也越來(lái)越流行，它在遙操作系統(tǒng)、智能家居、虛擬現(xiàn)實(shí)等領(lǐng)域得到了廣泛的應(yīng)用。手勢(shì)交互相對(duì)于傳統(tǒng)的人機(jī)交互方式有著無(wú)接觸操作、簡(jiǎn)單易學(xué)、自然自由、可攜帶信息量大等優(yōu)點(diǎn)，因此對(duì)基于手勢(shì)的人

2、機(jī)交互技術(shù)的研究有著重要的意義。
　　通過(guò)手勢(shì)進(jìn)行人機(jī)交互時(shí)，如果使用復(fù)雜的背景則會(huì)影響計(jì)算機(jī)對(duì)手勢(shì)理解的準(zhǔn)確度，而桌面背景環(huán)境相對(duì)簡(jiǎn)單。本文探究了桌面背景環(huán)境下的常見(jiàn)手勢(shì)交互方式，提出了一種桌面環(huán)境下的常見(jiàn)動(dòng)態(tài)手勢(shì)識(shí)別與理解方法，包括“去”、“拿”、“移”、“放”、“回”、“這”等多種自然交互手勢(shì)。與一般靜態(tài)手勢(shì)不同，動(dòng)態(tài)手勢(shì)還包含了大量的時(shí)序信息，對(duì)其中時(shí)序信息的提取往往是動(dòng)態(tài)手勢(shì)識(shí)別的關(guān)鍵。目前流行的時(shí)序特征提取方法往往是基

3、于RNN（遞歸神經(jīng)網(wǎng)絡(luò)），基于RNN和CNN（卷積神經(jīng)網(wǎng)絡(luò)）往往可以很好地實(shí)現(xiàn)動(dòng)態(tài)手勢(shì)的識(shí)別。上面這些方法都是在網(wǎng)絡(luò)結(jié)構(gòu)層來(lái)實(shí)現(xiàn)時(shí)序特征的提取，而本文提出了一種在輸入層提取時(shí)序特征的方法，并取得了不錯(cuò)的效果。
　　該算法首先對(duì)輸入每幀圖像預(yù)處理，基于桌面環(huán)境的背景建模以及基于手部區(qū)域的膚色建模，兩種算法結(jié)合能很好地完成手勢(shì)前景的分割。然后融合多幀圖像之間的時(shí)序信息，完成基于手勢(shì)前景分割的時(shí)序特征建模，構(gòu)造動(dòng)態(tài)手勢(shì)時(shí)空特征影像，其包