人臉建模和基于MPEG-4的動(dòng)畫(huà)實(shí)現(xiàn).pdf

1、隨著多媒體計(jì)算機(jī)的快速發(fā)展，計(jì)算機(jī)與人進(jìn)行交流日益在增加，而人的面部傳遞著人類(lèi)最廣泛的信息，如情感，精神狀態(tài)等，雖然每個(gè)人臉特征很相似，但卻有不同的表情特征，于是人臉成為計(jì)算機(jī)視覺(jué)與計(jì)算機(jī)圖形學(xué)中重要的研究課題。本文的下作包括三個(gè)方面：基于MPEG-4標(biāo)準(zhǔn)的面部動(dòng)作編碼、中文文本驅(qū)動(dòng)的人臉動(dòng)畫(huà)、連續(xù)漢語(yǔ)語(yǔ)音驅(qū)動(dòng)的人臉動(dòng)畫(huà)，他們也一直是計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)中一直具有挑戰(zhàn)性的研究課題。 首先提出了本論文的研究背景及研究?jī)?nèi)容，然后

2、對(duì)人臉建模、人臉動(dòng)畫(huà)技術(shù)、嘴唇動(dòng)畫(huà)以及MPEG-4人臉動(dòng)畫(huà)標(biāo)準(zhǔn)，分別進(jìn)行探討，分別對(duì)這些方法進(jìn)行分類(lèi)，并比較其優(yōu)點(diǎn)、缺點(diǎn)，指出研究的難點(diǎn)。 本文提出了一種基于MPEG-4的面部動(dòng)作編碼系統(tǒng)，該系統(tǒng)從高到低定義了二個(gè)層次：MPA(minimalperceptileaction)層，F(xiàn)C(facialcoefficient)層和FAP(facialdefinitionparameter)層。以MPEG-4定義的68個(gè)人臉動(dòng)畫(huà)參數(shù)FA

3、P為基礎(chǔ)，首先進(jìn)行FAP到FC的轉(zhuǎn)換，根據(jù)MPA與FC的多對(duì)多關(guān)系，獲得MPA集合，建立以MPA矢量表達(dá)的人臉視位。在基于MPA的人臉表情動(dòng)畫(huà)中，采用B樣條插值生成過(guò)渡幀，F(xiàn)ACS(facialanimationcodingsystem)引擎會(huì)根據(jù)MPA-FC-FAP的映射關(guān)系把MPA所描述的人臉動(dòng)作裝化為MPEG-4規(guī)定的FAP的值，然后再驅(qū)動(dòng)線框架的三維人臉模型產(chǎn)生動(dòng)畫(huà)。 為了獲取作為人臉動(dòng)畫(huà)基礎(chǔ)的靜態(tài)視位庫(kù)，提出了一種基于

4、參數(shù)化嘴唇模型的視位分類(lèi)方法。參數(shù)化的嘴唇僅用7個(gè)參數(shù)就能比較精確地描述嘴唇動(dòng)作，采用參數(shù)化的嘴唇來(lái)實(shí)現(xiàn)聚類(lèi)算法比使用與嘴唇有關(guān)的特征點(diǎn)更魯棒。 在面部動(dòng)作編碼系統(tǒng)和靜態(tài)視位庫(kù)的基礎(chǔ)上，提出了一套完整的文本驅(qū)動(dòng)人臉動(dòng)畫(huà)的方法，以中文文本為數(shù)據(jù)源，提取出音素流，從嘴唇靜態(tài)視位庫(kù)中選取由MPA矢量表達(dá)的關(guān)鍵幀，采用基于權(quán)重函數(shù)的協(xié)同發(fā)音模型來(lái)擬合過(guò)渡幀，由FACS引擎來(lái)驅(qū)動(dòng)三維人臉為了得到更真實(shí)的嘴唇動(dòng)畫(huà)效果，在協(xié)同發(fā)音模型里面還建

5、立了漢字之間停頓的自適應(yīng)模型，協(xié)同發(fā)音上下文的邊界模型，另外，還采用變頻采樣技術(shù)來(lái)強(qiáng)化爆破音和超短音的效果。 語(yǔ)音驅(qū)動(dòng)人臉動(dòng)畫(huà)與文本驅(qū)動(dòng)相比，需要建立聲音一視位的對(duì)應(yīng)關(guān)系，本文采用識(shí)別連續(xù)漢語(yǔ)發(fā)音為策略，以識(shí)別的文木為選擇靜態(tài)視位的腳本，輔以協(xié)同發(fā)音過(guò)程，來(lái)合成人臉動(dòng)畫(huà)。為此提出了一種基于漢語(yǔ)發(fā)音規(guī)則的IFNET網(wǎng)絡(luò)，模擬了漢字的拼寫(xiě)規(guī)則，脫離了龐大的樣本數(shù)據(jù)庫(kù)實(shí)現(xiàn)漢語(yǔ)語(yǔ)音識(shí)別。 本文提出的算法具有潛在的應(yīng)用價(jià)值，可以應(yīng)