三維人臉表情合成研究.pdf

1、面部表情是人們傳遞情感信息的重要手段，在日常交流中占有重要的地位。在各種計算機服務(wù)日益便捷的今天，人們希望計算機能夠和人一樣進行情感交流，特別是能夠表達出擬人化的面部表情。人臉表情合成技術(shù)作為當(dāng)今計算機應(yīng)用領(lǐng)域的一個熱點問題，其成果在影視及游戲娛樂、人機交互、虛擬現(xiàn)實、遠程會議與教育、輔助醫(yī)療等方面有著廣泛的應(yīng)用。該領(lǐng)域的研究經(jīng)過多年的發(fā)展，取得了長足的進步，并涌現(xiàn)出較多有效的人臉表情合成方法與模型。然而，由于面部表情具有豐富而復(fù)雜的變

2、化，要快速生動的利用計算機進行表情的重現(xiàn)并付諸實用化，目前仍有不少問題亟待解決。如何設(shè)計和構(gòu)建同時具有高度真實感和較高實用性的表情合成系統(tǒng)，仍然是一個富于挑戰(zhàn)性的研究課題。 本文以研究和建立具有真實感和實用性的三維人臉表情合成系統(tǒng)為目標，對三維人臉數(shù)據(jù)處理、三維人臉建模、基于生理建模的表情合成、基于統(tǒng)計建模的表情合成等相關(guān)課題進行了深入的探討和研究。分別從生理建模和統(tǒng)計建模兩個角度出發(fā)，研究了人臉表情合成問題，并提出了相應(yīng)的表情

3、合成模型。在此基礎(chǔ)上，設(shè)計和構(gòu)建了面向一般人臉的多模式三維人臉表情合成系統(tǒng)。 本文中工作的創(chuàng)新點及主要貢獻可總結(jié)如下。 第一，為了提高三維人臉數(shù)據(jù)處理的準確度和自動化程度，提出了一個基于對應(yīng)匹配的三維人臉精細配準方法。該方法把三維人臉的對應(yīng)問題轉(zhuǎn)化為二維圖像的對應(yīng)匹配。通過若干自動檢測的特征點位置提供先驗信息，對于全圖像的對應(yīng)關(guān)系進行插值，得到“粗”對應(yīng)；將圖像進行光照補償后，進一步采用光流法進一步修正對應(yīng)關(guān)系，得到“精

4、細”對應(yīng)。該算法自動化程度很高，通過兩個階段的處理后，所得的三維人臉對應(yīng)較為精確，并對光照不敏感。在此基礎(chǔ)上，進一步構(gòu)建了三維人臉的統(tǒng)計模型，并將其作為表情合成平臺的基礎(chǔ)。 第二，在分析和總結(jié)人臉生理解剖知識的基礎(chǔ)上，提出了一種新的用于表情合成的自適應(yīng)三維人臉生理模型。該模型包括一個改進的肌肉模型、一個下頜骨模型、一個單層皮膚模型以及相應(yīng)的皮膚的應(yīng)力機制。其中的皮膚模型具有簡約的結(jié)構(gòu)，并設(shè)計了相應(yīng)的應(yīng)力機制來模擬真實皮膚的應(yīng)力變

5、化。該模型的優(yōu)點在于結(jié)構(gòu)簡單，合成效率很高，并保證了表情合成的真實感。同時，為該模型設(shè)計了一種自適應(yīng)匹配方法。該匹配方法將生理模型參數(shù)與人臉形狀特征相聯(lián)系，對于新的人臉，通過形變模型自動獲得輸入人臉的三維外觀，并利用其形狀特征，可以自動生成其生理模型參數(shù)。該匹配方法計算量小，速度快，匹配結(jié)果精確，并能完全實現(xiàn)自動化。 第三，在對大量三維人臉數(shù)據(jù)進行統(tǒng)計分析的基礎(chǔ)上，提出一種基于雙線性分析的三維人臉表情模擬技術(shù)。通過對三維人臉形狀

6、樣本的雙線性分析，將三維人臉的身份特征與表情身份相分離，各自構(gòu)成獨立的線性子空間。該雙線性模型規(guī)模較小，適用于不同的二維和三維人臉應(yīng)用課題。 第四，為了提高已有雙線性模型對人臉與表情的表達能力，提出了一種肌肉參數(shù)驅(qū)動的雙線性表情合成方法。該方法一方面采取分塊處理的策略，對于人臉的各個區(qū)域建立雙線性模型，取得了比總體處理更好的人臉重建和表情模擬效果；另一方面，通過研究生理模型參數(shù)與統(tǒng)計表情參數(shù)間的映射，在不同的表情合成方法間建立了

7、對應(yīng)關(guān)系，可以根據(jù)不同的肌肉參數(shù)，獲得對應(yīng)的表情參數(shù)，再利用雙線性模型來生成實際表情。該方法能夠生成內(nèi)容與力度變化都較為豐富的人臉表情。 第五，提出了一種基于流形分析的非線性表情合成模型。該模型中，不同的人臉表情被投影到不同的低維表情流形上，并采用人工監(jiān)督學(xué)習(xí)的方法訓(xùn)練和獲得不同表情流形間的非線性變化軌跡。該模型比線性化模型更能夠有效描述表情狀態(tài)間的非線性變化關(guān)系。 最后，利用上述工作，設(shè)計并實現(xiàn)了一個面向一般人臉的多模