基于數(shù)據(jù)驅(qū)動的人臉美化【畢業(yè)設(shè)計外文文獻翻譯】

1、<p>　　畢業(yè)設(shè)計外文文獻翻譯</p><p>　院 系：計算機與信息工程學(xué)院</p><p>　年級專業(yè)：網(wǎng)絡(luò)工程</p><p>　姓 名：</p><p>　學(xué) 號：</p><p>　附 件：Data-Driven Enhancement of Facial Attracti

2、veness</p><p>　Attractiveness</p><p>　　基于數(shù)據(jù)驅(qū)動的人臉美化</p><p><b>　　摘 要</b></p><p>　　當(dāng)人臉評分被提及是收集形狀和根據(jù)詢問他們的審美情趣來排列，結(jié)果通常會發(fā)現(xiàn)有一定的這是有一定的評分統(tǒng)計共識的。然而它可能也是很難界定一套簡潔的規(guī)則去捕捉

3、評價者的審美愛好。在這項研究中，我們將探索訓(xùn)練數(shù)據(jù)驅(qū)動來增強對這些形狀的審美。特別是我們更致力于挑戰(zhàn)在最與原本人臉相似度最密切的情況下提高當(dāng)前相片（肖像）中人臉的審美情趣（或者吸引力）。</p><p>　　在我們的方法中有一個關(guān)鍵組成部分是自動對面部吸引力優(yōu)化訓(xùn)練的數(shù)據(jù)集和對面部吸引力的評分，這也是先由人工評分組來收集的。給出一個新面孔，我們提取一組距離不同的面部特征點位置，它定義了一個高維人臉空間，然后搜索附

4、近點面空間得出一個預(yù)測叫準(zhǔn)確的吸引力評級，一旦發(fā)現(xiàn)這個點，將相應(yīng)的面部距離嵌入在平面中并作為一個目標(biāo)來定義一個2D的經(jīng)線字段來映射原始面部特征來調(diào)整其位置，我們的技術(shù)是由獨立的評價試驗來驗證其有效性，隨著我們嘗試的實驗結(jié)果表明它確實可以有效增加大多數(shù)人臉圖像的面部吸引力。</p><p>　　關(guān)鍵詞：面部吸引力；機器學(xué)習(xí)；優(yōu)化；變形</p><p><b>　　第1章 導(dǎo)言<

5、;/b></p><p>　　美學(xué)和吸引力一直以來深深吸引著人們?nèi)ヌ剿?，激勵了無數(shù)的藝術(shù)家和哲學(xué)家。然而審美的價值仍舊難以捉摸出一個準(zhǔn)確的定義。例如，當(dāng)一組評委提出的形狀的集合，并要求他們根據(jù)自己的審美情趣排名，結(jié)果往往表明在評價者之間的統(tǒng)計共識。蛋撻可能是很難界定一套簡潔的規(guī)則來捕捉評價者的審美感知。此外，這種對不同形狀的看法也因為有文化之間的差異而明顯不同。因此，在這項研究工作中，我們要探討一個數(shù)據(jù)驅(qū)動

6、方法的對審美提升的可行性。特別是我們更致力于挑戰(zhàn)在最與原本人臉相似度最密切的情況下提高當(dāng)前相片（肖像）中人臉的審美情趣（或者吸引力）。</p><p>　　圖 1：輸入面部圖像（左）和調(diào)整后的圖像，我們的方法所產(chǎn)生的（右）。</p><p>　　面部吸引力已經(jīng)在心理學(xué)研究。一些研究表明，這是一個普遍觀念，超越不同文化之間的界限，這是面部吸引力較高的對來自不同種族、社會經(jīng)濟階層，年齡和性別的

7、評價者有跨文化的特點。[坎寧安等人。1995；瓊斯1996；佩雷特等人。1994 ]。這些研究表明，面部吸引力的感知即數(shù)據(jù)驅(qū)動，這意味著一個特別的面部特征不論觀察者具有相同的有限元分析。第二個支持這一觀點的證據(jù)來自于嬰兒偏愛的人臉研究[來自于朗格盧瓦等人。1987；Slater等人。1998 ]。這些研究表明，不管面孔的性別，種族，年齡，嬰兒都更喜歡看長的漂亮的臉。最近，用人工智能學(xué)習(xí)技術(shù)，研究人員成功的制造了一個訓(xùn)練有素的模型能夠?qū)θ?/p>

8、臉進行評分并密切符合人腦評分。[ Eisenthal等人給出的評分。2006 ]</p><p>　　隨著面部吸引力這個概念的日益普及，能夠可靠地自動檢測面部吸引力促進了這項研究。具體來說，我們提出了一種在給定的正面肖像面孔上自動增強面部吸引力的新工具，而我們一般簡稱這個過程為美化。實際上我們只是用我們的工具使美化后的新圖像更容易在一組觀察員中獲得比較高的面部吸引力評分，我們不能保證美化后的結(jié)果一定比原始面孔更美

9、麗，因為實際上，這樣的模式還尚待發(fā)現(xiàn)。</p><p>　　在這項工作中面臨的主要挑戰(zhàn)是實現(xiàn)上述目標(biāo)的時候只有很短的時間，這精確到到原圖像的細微修改，才能使修改后的肖像保持強有力的，明確無誤的相似性源。通過如圖1所示證明，這是一個很困難的任務(wù)，因為我們可以看到，面部特征的集合和感知到的面部吸引力絕不是簡單的關(guān)系。</p><p>　　圖 2：我們的技術(shù)應(yīng)用到圖像后的結(jié)果。</p>

10、;<p><b>　　第2章 應(yīng)用</b></p><p>　　從攝影技術(shù)發(fā)明開始，專業(yè)的攝影師就開始潤濕和修訂他們那的作品。我們可以認為 我們遇到的雜志封面都已經(jīng)被有技術(shù)有才華的修飾家修飾過了。應(yīng)當(dāng)指出的是，這樣的修飾不僅限于操縱顏色和紋理，還有去除皺紋的變化和面部特征的幾何形狀。從人臉成為世界上被拍攝最多的東西，今天這個數(shù)字圖像編輯軟件包是一個可以圖像增強和潤飾的

11、工具，它是有用并值得歡迎的。這個工具的潛力在于對電影圖像的特殊效果，這對于廣告還有約會也都是相當(dāng)明顯的。</p><p>　　這個技術(shù)的另一個有趣的應(yīng)用是建設(shè)為一個演員面部拼貼畫設(shè)計頭像或一個新面孔。假設(shè)我們從不同的面孔選擇一個五官集（眼睛，鼻子，嘴巴，等），并希望合成具有這些特點的新面孔。該功能可以無縫使用泊松混合將他們組裝在一起[ perezetal.2003 ]，但是產(chǎn)生的臉可能不漂亮或不自然，如圖2所示。

12、使用我們的工具在面對一個新的拼貼面孔會覺得更自然并具有吸引力。</p><p>　　最后，這項工作的結(jié)果來自于我們在加強幾何造型美學(xué)等問題的普遍興趣。而在本文重點部分的技術(shù)是增加面部美感的特定需求，我們相信同樣的模式也可以應(yīng)用到其他的二維形狀。</p><p><b>　　第3章 概述</b></p><p>　　這個方法的關(guān)鍵組件是美化引擎，

13、它采用男性和女性面孔數(shù)據(jù)集從評價者組收集評分?jǐn)?shù)。整個美化過程如圖3中所描繪，給定正面肖像作為輸入，我們首先（半自動）識別設(shè)置面部標(biāo)志（特征點）。使用平面圖形與這些特征點作為頂點，我們提取對應(yīng)于在圖中的邊的長度為距離向量。將這個載體送入美化引擎，這得到了修飾后的載體的距離，預(yù)測具有較高美容評分的原始矢量。接著，平面圖形被重新嵌入在平面試圖使新邊緣長度盡可能接近修改的距離。該功能所產(chǎn)生的新特征點，我們使用翹曲使輸入2D肖像經(jīng)潤飾變?yōu)槊阑姹?/p>

14、。</p><p>　　美化引擎，在第3節(jié)第4節(jié)介紹的半自動過程用來提取面部特征，和第5節(jié)描述的距離嵌入和翹曲步驟。這是我們獨特的核心組成部分。</p><p>　　我們的研究結(jié)果表明，經(jīng)過嘗試，該方法能夠有效地增加對大多數(shù)女性和男性的面孔圖像的面部吸引力。特別是，我們方法的有效性實驗通過對一組實驗對象評分驗證了修飾的面孔比原來的面孔更具吸引力。</p><p>　

15、　我們的方法使用了兩個數(shù)據(jù)集。第一數(shù)據(jù)集為均勻照明的92個白人女性與中性正面肖像。第二個數(shù)據(jù)集為33個白人男性畫像。因此，我們的工具目前只能是預(yù)計在面部圖像具有相似特征的有良好表現(xiàn)。然而，它可以直接擴展到更廣泛的各種面，例如，附加的族群，簡單地通過使用它訓(xùn)練肖像使其被引擎識別。</p><p><b>　　第4章 背景</b></p><p><b>　　4

16、.1 前期工作</b></p><p>　　圖 3：我們的面部美化過程。</p><p>　　大部分的研究在計算機圖形學(xué)和計算機視覺都集中在技術(shù)和工具，特別是人的面孔。特別是，我們在人臉建模和動畫[Parke和Waters1996；李等人。1995；Guenter等人。Pighin等人1998。1998；奧圖等人。1999 ]，面部檢測[楊等人2002 ]。人臉識別[

17、趙等人。2003 ]。我們和以前的研究成果分別是用不同的方法對二維人臉圖像的變形（例如[貝爾和尼利1992；李等人.。1997 ]）和3D形變?nèi)四樐Ｐ偷木€和維特[ 1999 ]。</p><p>　　同樣的圖像變形方法，我們的方法也利用二維圖像變形，反式的形式輸入的臉。然而，我們的目的是完全不同的。在圖像變形，目的通常是產(chǎn)生一個完全不同的兩者之間連續(xù)變換面（或其他對象）。他的挑戰(zhàn)主要在于發(fā)現(xiàn)兩面對應(yīng)的特征，并定義

18、一個適當(dāng)?shù)慕?jīng)。在我們的例子中，挑戰(zhàn)在于發(fā)現(xiàn)目標(biāo)形狀到源圖像是扭曲的，這些變化是一個可增強的細微差異但結(jié)果卻能改變面部吸引力。</p><p>　　心理學(xué)家也經(jīng)常使用圖像合成，變形，翹曲，以更好地了解人類如何感知不同的面部特征。例如，翹曲的朝向和從一般的已被用來研究面部吸引力和老化的臉（例如，[佩雷特等人。lanitis等人1999。2002 ]）。并且，在這種情況下，變形目標(biāo)形狀，或方向的經(jīng)緯，是預(yù)定義的。而且，

19、很明顯，如果臉上有高于平均水平的吸引力，首先要使它更接近普通面孔否則無法實現(xiàn)我們的目的。</p><p>　　Blanz和維特[ 1999 ]提出了一個三維形變?nèi)四樐Ｐ?，它可以操縱面部的一些屬性如肌肉或豐滿，甚至產(chǎn)生新的面部表情。他們的形變模型的線性組合形成一套原型的臉。其基本前提是感興趣的屬性標(biāo)記是一個線性函數(shù)。因此，通過在面向空間的一個單一的最優(yōu)方向移動來增加或減少標(biāo)記。乍一看，它可能會體現(xiàn)在我們的任務(wù)中也通

20、過使用這種方法，事實上，已這樣的嘗試過[ Blanz，2003 ]。然而，當(dāng)我們討論后發(fā)現(xiàn)面部吸引力是一個高度非線性的屬性。</p><p>　　我們的方法不需要擬合三維模型的面部圖像，相反，我們直接操作上的2D圖像數(shù)據(jù)。我們依賴對實驗數(shù)據(jù)與面部圖像的二維距離對面部吸引力的影響，因為沒有對三維人臉網(wǎng)格標(biāo)記之間距離的數(shù)據(jù)。但是我們的方法可以通過應(yīng)用我們的技術(shù)作為預(yù)處理的輸入圖像，協(xié)助它獲得“美化”的3D模型，然后擬

21、合出三維形變模型的結(jié)果。</p><p>　　4.1 面部吸引力的機器評級</p><p>　　Eisenthal等人[2006]介紹了一個在自動面部吸引力預(yù)測的基礎(chǔ)上，機器學(xué)習(xí)技術(shù)。集合年輕白人女性，中性面孔等92人的正面肖像用作訓(xùn)練集。每個面部的吸引力由28個男性或女性評價者給出。臉的平均評級被稱為它的美麗得分。通過各種回歸量然后在機器訓(xùn)練的基礎(chǔ)上，基于40個數(shù)據(jù)反映其人臉幾何形狀，頭

22、發(fā)的顏色和皮膚的平滑程度。根據(jù)上述特征的最佳回歸量達到0.6與人腦評分的相關(guān)性。這是一種高度非平凡結(jié)果，考慮到隨機的預(yù)測與人為評級零預(yù)期的相關(guān)性，而同一個評估者的二者平均評分和總體平均評分比大約為0.68 [ Kagian等，2007年]。</p><p>　　在這項工作中，我們利用對相同人臉圖像評分和由Eisenthal等人評級的收集。培養(yǎng)我們自己的回歸（3.1節(jié)）并把它作為指導(dǎo)我們美化女性臉部的方法。針對男性

23、的臉，我們用33位年輕人的訓(xùn)練集，每個面孔使用Eisenthal等人的相同協(xié)議獲得了吸引力評分。應(yīng)該指出的是，記錄者為Eisenthal等人。他們在生成向量回歸的方式與我們做這項工作的時候是一樣的。</p><p>　　基于它圖像中面部，其測量的吸引力評分的功能，其函數(shù)精確度目前還不清楚。通過對Eisenthal等人提取功能收集美麗評分的特征值分析表明，一個線性模型對人類的吸引力評級的計算效果很差。在這個研究過程

24、中，我們還培養(yǎng)了一批不同的支持向量回歸量，使用各種函數(shù)，線性和非線性。我們發(fā)現(xiàn)線性模型是顯著劣于非線性模型，無論是在計算其最高值，還是平均值，而且還使用徑向基函數(shù)（RBF）核函數(shù)來代替。</p><p><b>　　第5章 美化引擎</b></p><p>　　5.1 支持向量回歸</p><p>　　圖 4：面部特征的8個部分，用我們的算法總

25、共有84個點。</p><p>　　支持向量回歸（SVR）是一種歸納算法的擬合多維數(shù)據(jù)[1995 Vapnik等人]。通過使用各種內(nèi)核，SVR適合高度非線性函數(shù)。一個SVR構(gòu)造通過用一組稀疏樣品訓(xùn)練它（x; y），其中有和，我們的軟件美化采用了SVR模型訓(xùn)練有素的由Eisenthal等人記錄評分。 [2006年]。具體而言，我們從各個面部圖像相同的位置半自動抽取共84特征點（當(dāng)Eisenthal等人只用37個特征

26、點）。該功能點位于八個不同的五官輪廓：兩眉，兩只眼睛，嘴唇的內(nèi)部和外部邊界，鼻和面部的邊界（參見圖4a）。</p><p>　　平均（標(biāo)準(zhǔn)化）所提取的特征點的位置（圖4B）被用來構(gòu)建Delaunay三角剖分的三角形的234條邊，由這些邊緣的長度在每一個面形成234維距離矢量（圖4C）。距離是通過面孔面積的平方根歸一化得到他們不變的尺度。我們的工作就是特征點之間的距離，而不是他們的空間坐標(biāo)，這樣距離與感知面部吸引力

27、更直接相關(guān)。此外，這是人臉網(wǎng)格的工作，而不是其他一些平面圖形施加一些剛性的美化的過程，這樣可以防止產(chǎn)生距離具有高分，但不符合一個有效的臉的情況。</p><p>　　234維特征向量和相應(yīng)的美麗評分（從1到7）作為訓(xùn)練樣本構(gòu)建一個模型。SVR定義了一個光滑函數(shù)，我們用它來估算訓(xùn)練集之外的面孔的向量距離的美感分?jǐn)?shù)。經(jīng)過廣泛的實驗，我們選擇了徑向基核函數(shù)，它可以預(yù)測這樣的非線性行為建模問題。模型的選擇是通過網(wǎng)格進行內(nèi)

28、核寬度的搜索，松弛參數(shù)C和管寬度我們使用SVR參數(shù)實現(xiàn)軟邊緣 SVMlight[Joachims 1999 ]。</p><p>　　注意，這與由Eisenthal等人描述的回歸不同。[ 2006 ]，我們的回歸不使用的非幾何特征，如因為頭發(fā)的顏色，皮膚紋理，這反映了我們和Eisenthal等人研究目的的差異。我們試圖產(chǎn)生基于所有相關(guān)條件最準(zhǔn)確的回歸功能，我們的引擎設(shè)計只修改面部的幾何形狀，從

29、而與非幾何特征的過程無關(guān)。因此，我們調(diào)整美麗分?jǐn)?shù)以減少非幾何特征對它的影響是必要的。具體來說，我們通過Eisenthal等人的研究成果，使用線性回歸確定模型的非幾何特征的影響，作為與美容評分密切相關(guān)的方法。我們的回歸進行訓(xùn)產(chǎn)生的差異，這里原始分?jǐn)?shù)是，而是基于非幾何特征線性回歸的估計值。</p><p><b>　　5.2 美化過程</b></p><p>　　令v是歸

30、一化距離向量從輸入中提取人臉圖像。美化過程的目的是產(chǎn)生一個v’的高美麗評分附近的矢量。因為在我們的234維特征空間很多點是不對應(yīng)到臉上的距離向量，我們的主要挑戰(zhàn)是合成矢量V’內(nèi)保持有效的子空間的臉。在這個空間中許多載體可以具有更高的分?jǐn)?shù)，但任何這種載體必須投射到空間的有效面，得分可能在過程中減少。我們的假設(shè)是是光滑的足以讓增量使用局部優(yōu)化技術(shù)。</p><p>　　我們嘗試用兩個互補的技術(shù)來實現(xiàn)這一目標(biāo)：一個是基

31、于加權(quán)k-近鄰搜索算法（KNN），另一個（第3.3節(jié)）是數(shù)據(jù)驅(qū)動的優(yōu)化（第3.4節(jié)）。</p><p>　　假設(shè)人臉空間是局部凸，KNN方法保證所得到的美化后的臉在這個空間上。在基于支持向量機的方法按我們的美容功能優(yōu)化一個給定的臉，F(xiàn)B。因為后者的方法不承擔(dān)局部凸性，它有一個更基本的規(guī)則。然而，由于這個問題是非常稀少，SVR的訓(xùn)練基于小樣本回歸函數(shù)，回歸函數(shù)可以從填充的訓(xùn)練樣本表現(xiàn)出明顯規(guī)則。因此，我們通過應(yīng)用正

32、規(guī)化將搜索范圍限制在面對空間緊湊的區(qū)域。</p><p>　　5.3 基于KNN的美化</p><p>　　我們發(fā)現(xiàn)，有效美化面部的方式，同時保持與原有面孔的相似度是在K近鄰，面對美麗方向修改加權(quán)平均值的臉部距離矢量。我們發(fā)現(xiàn)以這種方式的美容得分通常比那些用全球非加權(quán)平均所得的分?jǐn)?shù)更高。心理學(xué)的文獻報道說符合美麗面孔復(fù)合材料被評為比平均復(fù)合臉更具吸引力[胡同和坎寧安1991；佩雷特等人。1

33、994 ]。</p><p>　　更具體地說，讓和表示對應(yīng)的訓(xùn)練集樣本的距離向量組，及其各自的相關(guān)分?jǐn)?shù)。我們定義加權(quán)距離與美，對于一個給定的距離向量V，作：</p><p>　　用Bi的權(quán)重以獲得更美的樣品。首先通過整理V，，，，，獲得最好的結(jié)果，然后尋找K最大化的加權(quán)得到SVR美麗評分的值。</p><p>　　圖5中的曲線圖顯示了不同K值的美麗得分如何變化，記錄

34、美麗評分的行為是不平凡的。然而，一般，我們發(fā)現(xiàn)K值較小，將產(chǎn)生比一般面孔更高的美麗得分。 選擇不同K值產(chǎn)生KNN-美化面部的一些實例展示在圖6中。</p><p>　　并不是簡單地用美化的v’取代原有的距離v，我們能夠產(chǎn)生一個更微妙的美化效果，改變對象原來面貌的美化度，通過線性插值v和v’在其之間嵌入第5節(jié)中描述的距離。</p><p>　　5.4 基于SVR的美化</p>

35、<p>　　基于SVR的美化是一個數(shù)值優(yōu)化治療的SVR美容其作用在距離向量的特征空間。因此，F(xiàn)B是用來直接尋求美化特征距離向量。而基于KNN方法產(chǎn)生訓(xùn)練集樣本的凸組合，基于支持向量機的優(yōu)化沒有這樣的限制。圖6顯示了與KNN和基于支持向量機的不同的美化效果。</p><p>　　圖 5：在我們的數(shù)據(jù)庫應(yīng)用功能中美麗得分繪制的K在我們的KNN方法一。</p><p>　　圖 6：從左

36、到右：原面孔，KNN美化K = 3，K近鄰美化最佳K，SVR美化。</p><p>　　形式上，美化距離矢量v’的定義如下：</p><p>　　我們使用標(biāo)準(zhǔn)的無導(dǎo)數(shù)方向集方法[Presss等人。1992 ]數(shù)值進行最小化。加快優(yōu)化，我們進行PCA特征空間降維的從234到35，并將最小化在低維空間中。請注意，我們開始優(yōu)化與原來的距離矢量作為初始猜測。因此，優(yōu)化的結(jié)果通常是一些局部

37、最小值附近，因此，應(yīng)用過程中會產(chǎn)生不同的結(jié)果，不同的面孔。</p><p>　　大多數(shù)我們嘗試的面部圖像，只使用美容功能為導(dǎo)向產(chǎn)生的結(jié)果比KNN方法有更高的美容成績。然而，對于一些樣品，通過優(yōu)化得到的距離矢量不符合有效的人臉距離SVR。為了限制搜索空間，我們規(guī)范的能量函數(shù)（公式3）通過增加一個對數(shù)似然項（LP）：</p><p>　　發(fā)現(xiàn)其中一個控件的對數(shù)似然項的重要性。該技術(shù)是一個類似于

38、[ Blanz和維特。1999 ]我們發(fā)現(xiàn)一個價值= 0:3足以執(zhí)行可能的距離矢量。</p><p>　　似然函數(shù)P是通過建模人臉空間作為一個多元高斯分布近似。當(dāng)投影到PCA子空間，P可以表示為</p><p>　　其中，表示第i個特征值的PCA和雙向表示的第i個分量，的投影到PCA空間。因此，對數(shù)似然項變?yōu)椋?lt;/p><p>　　其中的常數(shù)項是獨立的，因

39、此可以從第（4）的最優(yōu)化被刪去。</p><p>　　第6章 面部特征提取</p><p>　　從面部圖像中提取距離矢量包括自動識別人臉特征點的非平凡的任務(wù)。特征點位于突出的面部特征（見圖4）。這些特點是由樣條逼近。有大量的文獻，以捕捉樣條及其相應(yīng)的面部特征的任務(wù)是。讀者可以參考[趙等人。2003]對于這些技術(shù)的調(diào)查。</p><p>　　在我們的工作中，我們使用貝

40、葉斯切線形狀模型（BTSM）[Zhou等人。2003]，一對著名的主動形狀模型（ASM）技術(shù)[ Cootes等人。1995 ]。ASM是一個有效的點分布模型捕捉的對象實例的形狀變化，和一套灰色梯度分布模型，描述各標(biāo)志點的局部紋理。該模型是利用訓(xùn)練集構(gòu)造，其參數(shù)添加新的實例，積極更新。這個引導(dǎo)過程是半自動的。在訓(xùn)練的早期階段，大量的用戶干預(yù)是必要的，但作為訓(xùn)練集，增加援助，用戶很少需要。</p><p>　　當(dāng)給出

41、一種新的人臉圖像，該算法需要的地標(biāo)位置的初始猜測。一般的形狀是一個很好的選擇，可是卻發(fā)現(xiàn)最初的規(guī)模和方向，大大提高了檢測位置的準(zhǔn)確性和減少手動調(diào)整的需要。為了這個目的，我們使用OpenCV的Haar分類器級聯(lián)[布拉德斯基。2000]</p><p>　　我們的ASM訓(xùn)練集由92個樣本組成，每個包含84個標(biāo)志。這些標(biāo)志物的分布示于圖4（b）以上的人臉圖像訓(xùn)練集。處理一個新的人臉圖像首先進行分析，提取特征的位置一樣，

42、是用作訓(xùn)練圖像的。在大多數(shù)情況下，輸入圖像分析是全自動的。在罕見的情況下，一些用戶需要干預(yù)，比如當(dāng)面對大部分面部被頭發(fā)遮擋的情況下。</p><p>　　第7章 距離嵌入和翹曲</p><p>　　美化引擎產(chǎn)生一個修正的距離向量v’。我們現(xiàn)在必須將這些距離的一套新的面部的地標(biāo)。</p><p>　　由于v’是不能保證對應(yīng)的距離的邊緣在一個平面人臉網(wǎng)格我們追求目標(biāo)的地

43、標(biāo)位置，提供最適合的，在最小二乘意義下v’的距離。我們正式定義：</p><p>　　其中，是我們的面部網(wǎng)狀連接矩陣。為了減少五官非剛性失真，我們設(shè)置送至一個為連接特征點從不同的面部特征的邊緣，并以10為邊緣連接屬于同一特征點。目標(biāo)距離是v’對應(yīng)于邊緣的中的條目。</p><p>　　目標(biāo)標(biāo)記位置通過最小化E.這種優(yōu)化得到的已在圖中最近的研究（例如，[ 1997 ]科恩）。它被稱為應(yīng)力最小

44、化的問題，最初開發(fā)的多維標(biāo)度[ 1969 ]薩蒙。我們使用Levenberg-Marquardt（LM）算法有效地執(zhí)行該最小化[Levenberg 1944；Marquardt 1963；lourakis 2004 ]。這是一個迭代非線性最小化算法，這就需要合理的初始位置。然而，在我們的例子中，原來的幾何形狀提供了一個良好的初始猜測，因為總是只有微小的修改幾何美化。</p><p>　　嵌入過程中無知識的面部特征

45、的語義。然而，人類感知的面孔是眼睛的形狀非常敏感。具體而言，即使是面對輕微的失真的瞳孔和虹膜為非圓形狀的顯著減損現(xiàn)實的外觀。然而，這種失真是不由我們的美容功能捕獲。因此，我們添加了一個后期處理來執(zhí)行一個相似變換每一個獨立的眼睛的標(biāo)志。我們解決一個線性最小二乘問題中的相似的四個自由變量變換</p><p>　　最大限度地減少眼睛的影響。然后SPI取代氣保存原來的眼睛形狀。無論是嵌入和相似變換可能會干擾距離向量距離的

46、美化引擎產(chǎn)生，反過來影響其美得分。在我們的經(jīng)驗中得分下降由于嵌入很?。ㄆ骄?.005）。應(yīng)用變換導(dǎo)致額外的減少在美評分相似（平均0.232），這是它結(jié)果的本質(zhì)。</p><p>　　距離嵌入過程映射的特征點集從源圖像到目標(biāo)位置的相應(yīng)設(shè)置的。接下來，我們計算該源圖像映射到目標(biāo)1，根據(jù)這組對應(yīng)的翹曲字段。為了這個目的，我們適于由Lee等人提出的多層自由變形（MFFD）技術(shù)。 [1996年]。經(jīng)線字段示表出在圖3中，其

47、中源的特征點以藍色顯示和相應(yīng)的目標(biāo)位置是在紅色。</p><p>　　MFFD由一個層次的空間自由變形的圖像平面上，在每一個級別，翹曲函數(shù)是一個FFD的B樣條張量積的定義。的MFFD技術(shù)的優(yōu)點是保證一對一的映射（無折疊接管）。然而，這是一系列層次扭曲的費用（見[李等人。1996]細節(jié)）。加快高分辨率圖像的扭曲，我們首先展開變換的明確分層組合物成扁平1通過評估MFFD上的細格的頂點。</p><

48、p><b>　　第8章 結(jié)論</b></p><p>　　我們已經(jīng)實現(xiàn)一個用來生成所有示例的簡單的交互式應(yīng)用程序，來展示我們的技術(shù)。加載畫像后,程序自動檢測面部特征,如第四節(jié)所述。用戶可以檢查檢測功能,如果有必要進行相應(yīng)的調(diào)整。接下來,用戶指定所需的程度的美化,應(yīng)用程序幾秒鐘內(nèi)計算并顯示結(jié)果。視頻演示應(yīng)用程序包括2008年ACM SIGGRAPH完整會議dvd-rom。我們使用兩個訓(xùn)練

49、集的肖像伴隨吸引力評級(92名女性和33名男性肖像)來訓(xùn)練我們的SVR解釋變量,如3.1節(jié)所述,并嘗試用KNN-based和SVR-based美化。我們發(fā)現(xiàn)基于SVR方法對女性執(zhí)行有更好的整體(見表1),但在男性面孔KNN-based方法表現(xiàn)的更好。可能的原因是：(1)男性訓(xùn)練集是相當(dāng)小(33 vs . 92),(2)它不包含任何特別有吸引力的男性面孔(3)對于女性，男性吸引力的概念不一樣,所以吸引力評級不統(tǒng)一的共識。因此所有的女性使用

50、SVR本節(jié)所示結(jié)果生成，然而男士用KNN展示結(jié)論。</p><p><b>　　表格 1</b></p><p>　　圖7顯示了一個數(shù)量的輸入肖像(訓(xùn)練集)和相應(yīng)的美化版本。所有這些例子在美化程度上100%，美化過程增加了SVR美麗分?jǐn)?shù)大約30%。注意,在這些例子中的每一個,原來的臉和美化一個之間的區(qū)別很微妙,因此兩副面孔之間的相似之處是顯而易見的。然而,微妙的變化顯

51、然已經(jīng)對這些面孔的吸引力產(chǎn)生重大影響。</p><p>　　圖 7：美化實例。第一行：輸入畫像；底行：我們的方法所產(chǎn)生的結(jié)果</p><p>　　圖7所示的面孔是從125個臉部的選出的訓(xùn)練集,它是由專業(yè)攝影師拍攝的。然而，由此產(chǎn)生的美化引擎相對于面孔外集展示的更好。圖8中示例。四個最左邊的臉從基于“增大化現(xiàn)實”技術(shù)的數(shù)據(jù)庫(Martinez和Benavente 1998)。注意,這個開放的

52、照片庫似乎已在不到理想的照明條件。從其他來源獲得的其他兩個圖像。</p><p>　　圖 8：美化的臉，不屬于訓(xùn)練人臉集的面部吸引力的評級收集。</p><p>　　在某些情況下,它是可取的,讓美化過程修改只有部分的臉,同時保持其余部分完好無損。我們稱這種模式為美化的部分。例如,用戶可以請求,只有眼睛應(yīng)當(dāng)進行美化(參見圖9(a-c))。這個例子很好地說明了,有時一個小地方調(diào)整可能導(dǎo)致一個明

53、顯的影響面部吸引力。圖9(d-f)是另一個例子美化的部分,所有的功能除了而獨特的嘴唇不用調(diào)整，其他都進行了美化。我們只使用那些距離至少有一個端點所在特性進行部分美化的指定美化。這降低了特征空間的維數(shù),使算法的搜索只在美化功能之間。這種科技潛在地證明了在他們自己惹人吸引的地方可以得到更吸引人的臉龐。</p><p><b>　　圖 9：美化的部分</b></p><p>

54、;　　如前所述，可以指定所需的美化程度，百分之0對應(yīng)的原始的臉，臉的美化過程定義相應(yīng)的百分之100。0和100度之間的情況下，充分美化臉出現(xiàn)從原來的不同的是有用的，如圖10所示。</p><p><b>　　異可能是太明顯。</b></p><p>　　圖 10：不同的美化程度</p><p>　　美麗的分?jǐn)?shù),我們聚集使用正面肖像的年輕白人男性

55、和女性的正常表情。因此,我們的工具不能指望表現(xiàn)良好不具備這些特征的面部圖像。例如,一般來說,它不會增強孩子的臉的吸引力,如圖11所示。然而,該工具可能擴展來處理這些情況,以及其他種族或年齡,只需要從合適的肖像的集合中收集足夠多的外表排名。</p><p>　　圖 11：一個孩子的肖像（左）和通過我們的方法使用回歸訓(xùn)練使用的成年女性（右）</p><p><b>　　第9章 實驗驗

56、證</b></p><p>　　在我們實驗過的臉龐中，美化技術(shù)能夠改善面部的吸引力的一大部分。不過，也有一些簡單的美化不引入任何明顯的變化。一項實驗客觀地驗證我們的美化過程，提出了人工評分92對面孔(原始和美化)的男性(45面孔)和女性(47面孔)。要求評級機構(gòu)在每一對中確定最具吸引力的。在每一對的位置(左或右)是隨機決定的,92對面孔隨機所示。所有的92對原始的面孔從基于“增大化現(xiàn)實”技術(shù)獲得面孔數(shù)

57、據(jù)庫(Martinez和Benavente 1998)。68名評論者,25 - 40歲之間的男性和女性參與了實驗。</p><p>　　正如預(yù)料的一樣,評級機構(gòu)之間的協(xié)議是不統(tǒng)一的肖像。對于所有47個女性的肖像,美化版本被大部分評級機構(gòu)選為更具吸引力,在這一半的情況下,美化版本被超過80%的評級者優(yōu)先。至于男性肖像,69%的美化版本被選為更具吸引力。注意,這個結(jié)果,盡管不如女性那么引人注目,卻依舊顯著(假定值=

58、0:006)。這種差異的可能原因早已經(jīng)解釋了。</p><p>　　我們還進行了實驗。來確定基于SVR的美化使用平均的五官位置是比簡單的選擇更有效（需要美麗分?jǐn)?shù),和優(yōu)化)。如上所述，使用相同的設(shè)置，21名評論者提出了47對女性面孔。在每一對,一個圖像是SVR美化的,而其他的被變形到平均水平。我們發(fā)現(xiàn),17(21名中的)名評級者對于大多數(shù)人選擇的面孔更偏愛SVR的結(jié)果。這一發(fā)現(xiàn)是統(tǒng)計學(xué)意義(假定值= 0:0015在

59、中立零假設(shè)條件下)。于此之外，我們發(fā)現(xiàn)在評級者為每個面孔做出選擇時，對于36（47名中）個面孔，評論者更親睞SVR的結(jié)果，然而備選的結(jié)果受親睞的只有11個面孔。(P-value = 9.8x10)</p><p>　　第10章 結(jié)論和工作展望</p><p>　　我們已經(jīng)在建模于回歸支持向量機的功能美的優(yōu)化基礎(chǔ)上開發(fā)了一種數(shù)字化臉部美化的方法。我們面臨的挑戰(zhàn)是雙重的:首先,高維非線性的功能

60、美,其次,保持在子空間里存在有效的臉部當(dāng)我們趨向于這種美的時候。</p><p>　　目前，我們的技術(shù)對臉部正視圖還是有限的并且只是一個中立的表達。對于進一步的一項具有挑戰(zhàn)性的方向是拓展我們的技術(shù)來處理通用視圖和其他表達方式。</p><p>　　在我們的工作中,我們限制自己只操縱的幾何形狀的臉。然而,正如前面提到的,也有重要的非幾何屬性產(chǎn)生重大影響的感知吸引力的臉。這些因素包括頭發(fā)和皮膚

61、的顏色和紋理，并且調(diào)查這些屬性的變化如何融入我們的數(shù)字美化框架是有趣的。</p><p>　　最后,應(yīng)該注意的是,我們的研究的目的不是獲取深入理解人類如何看待面部吸引力。因此我們沒有試圖獲得具體明確的美化指南，比如在一個特定的方式下改變嘴唇的形狀或者改變眼睛的大小。相反，我們試圖在基于原始收集美麗的分?jǐn)?shù)上開發(fā)一個更一般的方法。這是我們的希望,然而,感性心理學(xué)家會在他們追求更好的理解感性美的時候找到我們科技的有用之

62、處。此外,正如前面所提到的，我們希望拓展我們這種根據(jù)數(shù)據(jù)處理的增強應(yīng)用到其他形狀的美學(xué)。 </p><p><b>　　致 謝</b></p><p>　　作者要感謝Akira Gomi先生請批準(zhǔn)使用他的照片(從他的cd - rom收集“美國人1.0,洛杉磯1994”)和Volker Blanz寶貴意見和建議。男性面孔的訓(xùn)練集是由 Martin Grün