基于單目視頻相機(jī)的實(shí)時(shí)人臉跟蹤與動(dòng)畫方法研究.pdf

1、使用計(jì)算機(jī)生成具有真實(shí)感的人臉動(dòng)畫一直是計(jì)算機(jī)圖形學(xué)中的重要研究課題。近幾十年來，研究者們圍繞著這一課題進(jìn)行了大量的研究工作，取得了豐碩的成果。在工業(yè)級(jí)應(yīng)用如影視游戲制作中，人們通常依賴于一些特殊設(shè)備，并且需要各種復(fù)雜的操作和大量運(yùn)算，來精確跟蹤人臉運(yùn)動(dòng)并生成具有高度真實(shí)感的人臉動(dòng)畫。但是，這些昂貴的設(shè)備和耗時(shí)的計(jì)算并不適用于面向于普通用戶的應(yīng)用。對(duì)于普通用戶來說，使用單目視頻相機(jī)對(duì)人臉運(yùn)動(dòng)進(jìn)行實(shí)時(shí)跟蹤并生成人臉動(dòng)畫是最簡(jiǎn)單、最有效的方

2、法。當(dāng)前基于單目視頻相機(jī)的實(shí)時(shí)人臉跟蹤與動(dòng)畫技術(shù)在人臉跟蹤的準(zhǔn)確性、穩(wěn)定性，以及生成人臉動(dòng)畫的真實(shí)感、細(xì)節(jié)豐富性、表現(xiàn)力等方面，與基于特殊設(shè)備的方法之間還存在著很大的差距。
　　本文圍繞著基于單目視頻相機(jī)的實(shí)時(shí)人臉跟蹤與動(dòng)畫技術(shù)進(jìn)行了深入、系統(tǒng)的研究，提出了一系列具有創(chuàng)新性的算法，為普通用戶使用單目視頻相機(jī)進(jìn)行準(zhǔn)確、高效的人臉運(yùn)動(dòng)跟蹤，以及生成具有真實(shí)感的人臉動(dòng)畫提供了一種有效途徑。本文研究涵蓋了人臉動(dòng)畫技術(shù)的三個(gè)核心組成部分:人

3、臉模型表示、人臉運(yùn)動(dòng)跟蹤捕獲以及數(shù)字化替身的生成。具體工作如下:
　　1.在人臉模型表示方面，針對(duì)現(xiàn)有人臉數(shù)據(jù)庫(kù)中表情表現(xiàn)力不足的問題，研制了FaceWarehouse，一個(gè)專用于可視計(jì)算應(yīng)用的三維人臉表情數(shù)據(jù)庫(kù)。FaceWarehouse使用一個(gè)RGB-D相機(jī)掃描采集了150個(gè)用戶在20個(gè)不同表情下的幾何紋理數(shù)據(jù)。基于這些采集數(shù)據(jù)，為每個(gè)用戶生成一個(gè)特定的表情融合模型，包含了該用戶對(duì)應(yīng)于人臉動(dòng)作編碼系統(tǒng)描述的47個(gè)基本表情。最后

4、，用這150個(gè)用戶的表情融合模型構(gòu)建了一個(gè)雙線性人臉模型。該雙線性人臉模型可以用于表示不同用戶在不同表情下的人臉形狀，因此可以被用于各種可視計(jì)算應(yīng)用中。
　　2.在人臉運(yùn)動(dòng)跟蹤捕獲方面，提出了三種基于單目視頻相機(jī)的實(shí)時(shí)人臉運(yùn)動(dòng)跟蹤方法。a）首先，提出了一種基于三維形狀回歸的實(shí)時(shí)人臉跟蹤方法。該方法為每個(gè)特定用戶訓(xùn)練生成一個(gè)特定的三維人臉形狀回歸器，并利用該回歸器在用戶的人臉視頻中準(zhǔn)確跟蹤人臉特征點(diǎn)的三維位置。b）針對(duì)前述方法中需要

5、為每個(gè)特定用戶進(jìn)行預(yù)處理的問題，提出了偏移動(dòng)態(tài)表情(DDE)模型這一新穎的人臉形狀表示方法，并基于DDE模型提出了一個(gè)基于單目視頻相機(jī)的全自動(dòng)實(shí)時(shí)人臉運(yùn)動(dòng)跟蹤方法。該方法可以對(duì)任意用戶進(jìn)行準(zhǔn)確的人臉運(yùn)動(dòng)跟蹤，而不需要任何的預(yù)處理過程。c）在前述工作基礎(chǔ)上，提出了一個(gè)實(shí)時(shí)的高精度人臉運(yùn)動(dòng)跟蹤捕獲方法。該方法可以從人臉的局部外觀中實(shí)時(shí)計(jì)算得到局部細(xì)節(jié)形狀，進(jìn)而重建高精度的人臉幾何模型，包含了豐富的臉部細(xì)節(jié)特征如皺紋等。
　　3.在數(shù)字