手勢(shì)三維跟蹤中的觀測(cè)似然模型研究.pdf

1、人機(jī)交互(Human-Computer Interaction，HCI)作為計(jì)算機(jī)研究分支之一，越來越受到人們的重視。尤其是隨著移動(dòng)計(jì)算設(shè)備的增加以及計(jì)算機(jī)性能的提升，傳統(tǒng)的人機(jī)交互方式顯得的越來越不方便，極大地限制了計(jì)算機(jī)的使用范圍和人的表達(dá)方式，因此對(duì)自然的，和諧的人機(jī)交互方式進(jìn)行深入地探索變得尤為重要。人手作為人的重要表達(dá)工具之一，可以自然、方便地表達(dá)人的交互意圖，深化對(duì)手勢(shì)交互的研究有助于推進(jìn)和諧人機(jī)交互界面的發(fā)展。同時(shí)由于手勢(shì)

2、交互系統(tǒng)綜合了機(jī)器視覺，人工智能，圖像分析以及并行計(jì)算等多方面的知識(shí)，對(duì)其進(jìn)行深入探索也會(huì)促進(jìn)各交叉學(xué)科的發(fā)展。
　　 基于視覺的三維運(yùn)動(dòng)人手跟蹤的主要任務(wù)是根據(jù)捕獲的視頻幀信息恢復(fù)出當(dāng)前手勢(shì)的運(yùn)動(dòng)狀態(tài)。人手具有復(fù)雜的關(guān)節(jié)結(jié)構(gòu)，至少需要26個(gè)自由度才能準(zhǔn)確地描繪出手勢(shì)的變化。因此，手勢(shì)的狀態(tài)一般都由高維狀態(tài)向量描述。在單目條件下，通過捕獲的二維視頻信息來恢復(fù)高維手勢(shì)狀態(tài)存在兩方面的困難，一是觀測(cè)空間與狀態(tài)空間的不對(duì)稱導(dǎo)致在二者匹

3、配時(shí)容易出現(xiàn)歧義性，即一個(gè)觀測(cè)值對(duì)應(yīng)多個(gè)最優(yōu)狀態(tài)解;二是在如此高維的狀態(tài)空間中搜索最優(yōu)狀態(tài)將帶來龐大的計(jì)算量，制約了系統(tǒng)運(yùn)行的實(shí)時(shí)性。因此利用視覺信息進(jìn)行三維運(yùn)動(dòng)人手跟蹤確實(shí)是一項(xiàng)非常具有挑戰(zhàn)性的課題。
　　 本論文依托國(guó)家自然科學(xué)基金(No.61173079，No.60973093)，山東省自然科學(xué)基金重點(diǎn)項(xiàng)目(ZR2011FZ003)等項(xiàng)目基金的支持，對(duì)單目條件下三維運(yùn)動(dòng)人手跟蹤中涉及的一些關(guān)鍵問題進(jìn)行了研究。在三維運(yùn)動(dòng)人手

4、跟蹤中，觀測(cè)似然模型的作用是根據(jù)當(dāng)前觀測(cè)值來計(jì)算手勢(shì)狀態(tài)的概率似然值，它通過比較觀測(cè)特征和模型特征之間的匹配程度來計(jì)算手勢(shì)狀態(tài)值和觀測(cè)值之間的相似性。本文圍繞觀測(cè)似然模型展開研究，探討了觀測(cè)特征的提取方法，以及如何根據(jù)這些特征來建立似然模型，同時(shí)對(duì)如何降低模型跟蹤自由度，減少跟蹤方法中的采樣個(gè)數(shù)也進(jìn)行了探索。本文的主要工作如下:
　　 (1)基于膚色特征的手勢(shì)前景提取
　　 實(shí)現(xiàn)了兩種基于膚色特征的手勢(shì)前景提取方法。第一

5、種方法是在YCrCb空間下，利用高斯混合模型對(duì)膚色建模，再根據(jù)閾值法實(shí)現(xiàn)了手勢(shì)前景提取。在樣本訓(xùn)練過程中采用的是在線訓(xùn)練的方式，在手勢(shì)跟蹤初始化階段對(duì)手勢(shì)區(qū)域進(jìn)行實(shí)時(shí)地膚色采樣，根據(jù)采集的膚色樣本快速的得到高斯混合模型的參數(shù)，這樣可以增加對(duì)光照條件的適應(yīng)性，同時(shí)減少了所需樣本的數(shù)量。第二種方法是將貝葉斯膚色分類方法與背景差分方法結(jié)合起來提取手勢(shì)前景區(qū)域。由于貝葉斯膚色分類方法簡(jiǎn)單，易于實(shí)現(xiàn)，所以本文利用該方法來提取手勢(shì)幀圖像中的膚色像素

6、。但由于貝葉斯方法需要根據(jù)一定的膚色樣本來訓(xùn)練分類器，樣本選取的好壞以及閾值的選擇對(duì)分割效果具有很大的影響，所以分割的結(jié)果往往不夠精確。背景差分方法將當(dāng)前幀圖像與背景圖像做差值運(yùn)算，根據(jù)差值的大小來提取前景圖像，但由于在手放入場(chǎng)景后，會(huì)引起場(chǎng)景光線的變化，產(chǎn)生陰影，背景差分會(huì)將這些非前景區(qū)域內(nèi)的變化誤認(rèn)為是前景，當(dāng)這些變化的部分不具有膚色特性時(shí)，可以利用貝葉斯方法去除;另一方面，當(dāng)用貝葉斯膚色分類方法分割的不夠完全時(shí)，利用背景差分可以進(jìn)

7、一步去除那些屬于背景的像素。因此二者的結(jié)合可以互相彌補(bǔ)對(duì)方的缺點(diǎn)，提取效果要好于僅使用單一的方法。此外，在手臂穿戴衣服條件下，減背景會(huì)把運(yùn)動(dòng)的整個(gè)手臂也當(dāng)做是前景區(qū)域，由于我們只對(duì)人手部分進(jìn)行跟蹤，所以可以利用貝葉斯膚色分類方法去除手腕以上的非膚色部分。
　　 (2)利用提取的手勢(shì)前景和圖像邊緣建立觀測(cè)似然模型
　　 在獲取手勢(shì)前景后，可以根據(jù)模型投影與手勢(shì)前景的吻合程度來建立一個(gè)相似似然函數(shù)。圖像前景提取的好壞在很大程

8、度上受光照條件的影響，當(dāng)提取的結(jié)果不夠完整時(shí)，會(huì)影響相似似然值的精確性。圖像邊緣作為一種基于圖像梯度變化提取的特征，對(duì)光照變化具有很好的魯棒性。此外，在手指存在遮擋時(shí)，有時(shí)也可以通過邊緣得到手指的輪廓。這樣，根據(jù)模型的投影輪廓和邊緣檢測(cè)得到的圖像邊緣之間的重合程度建立第二個(gè)相似度似然函數(shù)。第一個(gè)相似似然函數(shù)是根據(jù)手勢(shì)前景和模型投影之間非重疊區(qū)域的大小來計(jì)算二者之間的相似性;第二個(gè)相似似然函數(shù)是根據(jù)圖像邊緣與模型輪廓間的Chamfer距離

9、來衡量二者的相似性的。為了有效地將二者應(yīng)用在后續(xù)的粒子濾波跟蹤中，根據(jù)二者計(jì)算的權(quán)值的方差定義了一種結(jié)合方法。
　　 (3)引入手勢(shì)約束關(guān)系，降低模型自由度
　　 將常用的手勢(shì)約束關(guān)系引入到三維手勢(shì)模型中，利用靜態(tài)約束關(guān)系來定義每個(gè)關(guān)節(jié)角度的變化范圍;利用動(dòng)態(tài)約束關(guān)系來描述關(guān)節(jié)角度間的線性關(guān)系，當(dāng)用這些線性關(guān)系來描述關(guān)節(jié)的運(yùn)動(dòng)時(shí)，可以將手勢(shì)自由度由原來的26個(gè)降為14個(gè)。在應(yīng)用這些手勢(shì)約束后，可以使三維手勢(shì)模型更接近真實(shí)

10、的人手，避免了病態(tài)手勢(shì)的出現(xiàn)，同時(shí)也降低了跟蹤所需的自由度。
　　 (4)引入分解采樣方法，降低跟蹤所需的粒子數(shù)
　　 在利用粒子濾波技術(shù)來跟蹤三維手勢(shì)運(yùn)動(dòng)時(shí)，需要根據(jù)在手勢(shì)狀態(tài)空間中采集的樣本來近似手勢(shì)狀態(tài)的后驗(yàn)分布。由于手勢(shì)狀態(tài)是一個(gè)高維狀態(tài)，且粒子濾波的一個(gè)缺點(diǎn)就是樣本數(shù)量會(huì)隨著狀態(tài)維數(shù)的增加呈指數(shù)形式增長(zhǎng)。為了降低跟蹤過程所需的粒子數(shù)，將分解采樣方法引入粒子濾波當(dāng)中，將自由度分為全局自由度和局部自由度，先對(duì)全局自