基于多判據(jù)的多目視覺手勢立體姿態(tài)檢測.pdf

1、從20世紀(jì)90年代起，計(jì)算機(jī)視覺拓展了一個所謂“看人”(looking at people，以下簡稱LAP)的應(yīng)用領(lǐng)域，用計(jì)算機(jī)視覺作為人機(jī)接口，通過觀察（監(jiān)視）、分析人體不同部分的表情或姿態(tài)，從中提取有用的控制信息。由于是非接觸性檢測，因此對于操作者而言感覺比較自由而且自然，同時(shí)還能為機(jī)器提供豐富的信息資源，具有廣闊的應(yīng)用范圍。在Looking at people應(yīng)用中，手勢姿態(tài)分析主要研究內(nèi)容是分析用手勢表達(dá)的符號語言（如手語字符）

2、的意義。 本文進(jìn)行的研究將Looking at people的方法應(yīng)用于人的手勢姿態(tài)分析和重建。采用多攝像機(jī)系統(tǒng)從不同角度“觀察”人的手勢，經(jīng)過圖像分析，信息合成，得到三維空間中手的姿態(tài)信息，然后利用點(diǎn)的三維重建方法和三維虛擬建模技術(shù)在計(jì)算機(jī)中形成人手手勢姿態(tài)的三維立體虛像，進(jìn)行對比驗(yàn)證和可靠性、準(zhǔn)確性分析。研究主要完成了下列工作： 1．根據(jù)人手的生理結(jié)構(gòu)特點(diǎn)，設(shè)計(jì)了適合于具有小幅度運(yùn)動的非剛性構(gòu)架上特征點(diǎn)的搜索、排序方

3、法，可以迅速、準(zhǔn)確地將攝像機(jī)拍攝的處于一定約束空間方位姿態(tài)下的手的姿態(tài)圖像上的各關(guān)節(jié)點(diǎn)（含手腕和指尖），按手指的歸屬重新排序。 2．根據(jù)拍攝圖像的特殊性，設(shè)計(jì)了適用于有輕微變形的柔性物體圖像上特征點(diǎn)的匹配方法，利用上述重新排序算法，對不同攝像機(jī)拍攝的各圖像采用相同的規(guī)則排列特征點(diǎn)的順序，在解決了特征點(diǎn)的位置歸屬問題同時(shí)，也解決了圖像對上對應(yīng)點(diǎn)的匹配問題。 3．本研究采用張正友的平面標(biāo)定方法對系統(tǒng)中的攝像機(jī)進(jìn)行標(biāo)定，該方法

4、標(biāo)定物簡單、標(biāo)定過程比較方便等特點(diǎn)。 4．研究中由于觀測盲區(qū)的存在，一對攝像機(jī)無法觀測到所有的特征點(diǎn)，只有兩對或兩對以上的攝像機(jī)的協(xié)作才可以完全提取所有特征點(diǎn)，本文采用四個攝像機(jī)構(gòu)成的多目視覺系統(tǒng)獲取手勢圖像，設(shè)計(jì)了多攝像頭的信息融合算法，將各攝像頭獲得的特征點(diǎn)的三維坐標(biāo)統(tǒng)一到同一個世界坐標(biāo)系中，得到了全部關(guān)鍵點(diǎn)信息，為手勢重建提供了所需數(shù)據(jù)。 5．采用點(diǎn)的三維重建方法和三維虛擬建模技術(shù)在計(jì)算機(jī)中完成了三維手勢姿態(tài)重建，