人臉識別畢業(yè)論文

1、<p><b>　　摘　　要</b></p><p>　　生物識別是最能體現(xiàn)計算機智能的特征之一，它在科研工作和日常生活應(yīng)用方面都引起了巨大的轟動。在所有生物特征里面，人臉特征是最普遍和最容易獲取的，所以，人臉識別一直都是模式識別和圖像處理領(lǐng)域最熱門的課題之一。為了減弱光照、表情、姿態(tài)、攝像視角、外貌(例如頭發(fā)、眼睛)等變化對識別的影響，提高三維人臉識別準確性，本文針對光照、姿態(tài)、

2、表情等影響三維人臉識別的因素進行了研究。使用基于球面諧波基圖像的光照補償算法減弱光照對人臉識別的影響，利用三維形變模型和部件技術(shù)相結(jié)合的人臉識別方法進行多姿態(tài)人臉的識別，針對表情變化帶來的塑性變形采用基于泊松方程完成非中性人臉網(wǎng)格模型向中性模型的變形，提高帶表情模型與同類中性模型之間的相似度。這三種算法在提高三維人臉識別的性能上都有一定的幫助，對于三維人臉識別系統(tǒng)的研究有了一定的理論基礎(chǔ)。</p><p><

3、;b>　　Abstract</b></p><p>　　Biometrics is one of the best embodies the characteristics of computer intelligence, its research work and daily life applications have caused a great sensation. In all th

4、e biological characteristics of which, facial feature is the most common and most easily accessible, so, face recognition, pattern recognition and image processing has been the hottest topic in the field. In order to wea

5、ken illumination, facial expressions, gestures, camera angle, appearance (eg hair, eyes) and so the impact of</p><p><b>　　目　　錄</b></p><p><b>　　摘　　要i</b></p><p

6、>　　Abstractii</p><p>　　第1章 緒　論3</p><p>　　1.1本文工作的來源3</p><p>　　1.2目的和意義3</p><p>　　1.3國內(nèi)外進展4</p><p>　　1.3.1國外進展4</p><p>　　1.3.2國內(nèi)進展4

7、</p><p>　　1.4本文工作的主要內(nèi)容5</p><p>　　第2章 光照對三維人臉識別影響算法的研究6</p><p>　　2.1基于球面諧波基圖像的人臉圖像光照估計6</p><p>　　2.1.1球面諧波基圖像模型6</p><p>　　2.1.2人臉的球面諧波基圖像近似7</p>

8、<p>　　2.1.3光照估計9</p><p>　　2.2人臉圖像光照補償10</p><p>　　2.2.1紋理圖像10</p><p>　　2.2.2差圖像11</p><p>　　第3章 姿態(tài)對三維人臉識別影響的算法研究13</p><p>　　3.1三維形變模型13</p>

9、;<p>　　3.2基于ASM的三維人臉分片15</p><p>　　3.3基于三維部件技術(shù)的人臉識別16</p><p>　　第4章 表情對三維人臉識別的影響的研究20</p><p>　　4.1算法思想21</p><p>　　4.2(Guidance-based constraint deformation) (G

10、CD)模型23</p><p><b>　　結(jié)　　論26</b></p><p>　　參 考 文 獻27</p><p><b>　　致　　謝28</b></p><p><b>　　第1章 緒　論</b></p><p>　　人臉識別是當前

11、生物特征識別研究的熱點之一，目前的人臉識別方法主要集中在二維圖像方面，由于受到光照、姿勢、表情變化的影響，識別的準確度受到很大限制。針對人臉識別的難點，一個較好的辦法是利用三維信息進行人臉的識別。本文主要研究基于三維數(shù)據(jù)模型的人臉識別問題，旨在通過提取有效并且魯棒的三維特征完成識別；同時針對三維數(shù)據(jù)模型本身的大數(shù)據(jù)量、高復(fù)雜度的特性，探討如何在保證識別正確率的基礎(chǔ)上，提高識別過程的效率。</p><p>　　1.

12、1本文工作的來源</p><p><b>　　導師指定題目。</b></p><p><b>　　1.2目的和意義</b></p><p>　　自美國發(fā)生911恐怖襲擊事件以后，世界各國對如何防范恐怖分子、保障民眾安全異常關(guān)注，不斷積極尋找有效的身份鑒定方法。另一方面，全球范圍內(nèi)電子商務(wù)已迅速興起，網(wǎng)絡(luò)信息安全問題也伴隨而

13、來，安全可靠的網(wǎng)上購物和交易是電字商務(wù)進一步發(fā)展的核心問題。傳統(tǒng)的安全方式如密碼、個人識別碼 (PIN)、磁卡和鑰匙經(jīng)常被非法盜用或者濫用，因此只能提供有限的保障。</p><p>　　為了保障身份鑒定方法更加有效和安全，因此提出了身份鑒別的研究。目前用于身份鑒別的生物特征有臉像、聲紋、指紋、虹膜、筆跡、步態(tài)、耳型、視網(wǎng)膜、手形、掌紋、足跡、紅外溫譜圖等。其中人臉識別是生物特征鑒別技術(shù)的一個重要方向，多年來一直受

14、到許多研究者的關(guān)注。和其他生物特征識別相比，人臉識別具有主動性、非侵犯性和用戶友好等許多優(yōu)點。同時鑒于二維識別的局限性，三維信息能更精確地描述人的臉部，提取的某些特征具有剛體變換不變性，并且不易受化妝和光照的影響。</p><p>　　鑒于人臉識別具有主動性、非侵犯性等優(yōu)勢，如果成功地實現(xiàn)三維人臉識別的話，那么安全、金融、法律、人機交互等領(lǐng)域具有廣闊的應(yīng)用前景，將對身份的鑒別作出重大的貢獻，同時對世界的安全也有積

15、極地影響。</p><p><b>　　1.3國內(nèi)外進展</b></p><p>　　三維人臉識別越來越受到研究人員的重視。國內(nèi)外都興起了對三維人臉識別技術(shù)研究的浪潮。</p><p><b>　　1.3.1國外進展</b></p><p>　　在世界，國際生物特征識別領(lǐng)域權(quán)威機構(gòu)IBG的統(tǒng)計數(shù)據(jù)顯

16、示，近年來全球人臉識別的增長趨勢非常強勁，年均增長率超過80%，大大超過了全球整體生物特征識別市場30%的年均增長率。人臉識別，作為全球生物特征識別的一個市場熱點，越來越受到人們的普遍關(guān)注，并展示了其美好的應(yīng)用前景。</p><p>　　國外研究機構(gòu)和公司從事自動人臉識別的研究與實踐較早，在美國、德國、日本等發(fā)達國家已經(jīng)有相關(guān)產(chǎn)品問世。 1996年美國的FERET 研究機構(gòu)對現(xiàn)有的各種人臉識別算法進行了測試， 結(jié)

17、果表明，比較成熟的識別算法對于數(shù)千人的圖像進行識別檢索，識別率可達到90% 以上。現(xiàn)在FERET 研究機構(gòu)已經(jīng)成為國際權(quán)威的人像檢測和識別理論和算法的評估機構(gòu)。“9. 11 事件”以后，美國更加大了人臉識別技術(shù)的研究力度， 正在著手建立國家級的重點犯罪人口和恐怖破壞分子的人臉數(shù)據(jù)庫。</p><p><b>　　1.3.2國內(nèi)進展</b></p><p>　　作為國內(nèi)

18、企業(yè)奮起直追，突破國外技術(shù)壟斷，推出性能穩(wěn)定、價格適中產(chǎn)品的代表，漢王科技對于“漢王人臉通”的成功研發(fā)，無疑給國內(nèi)人臉識別大規(guī)模商用的產(chǎn)業(yè)化注入了一針興奮劑。</p><p>　　從2007年便開始經(jīng)歷迅速的發(fā)展，而且發(fā)展的腳步越來越快。由于科技界和社會各個方面都認識到人臉識別技術(shù)的重要性，國家政策對人臉識別技術(shù)研究給予了很大支持，使得我國人臉識別技術(shù)取得了很大進展。2008年，更是我國安防市場迅速擴張的一年。隨

19、著政府推動的“平安城市”建設(shè)、城市報警與監(jiān)控系統(tǒng)（“3111”工程）的深入展開，加之奧運會、世博會等大型活動的帶動，全國進入了安防設(shè)施建設(shè)的高潮期，安防行業(yè)持續(xù)保持了快速的增長。而且，除了傳統(tǒng)的考勤、門禁等應(yīng)用外，各種新的應(yīng)用需求的不斷涌現(xiàn)，也極大地推動了這一市場的發(fā)展。</p><p>　　1.4本文工作的主要內(nèi)容</p><p>　　本文針對二維人臉識別技術(shù)的局限性，提出了三維人臉識別

20、技術(shù)。主要研究了三維人臉模型的識別，以及識別前所需進行的一系列的其他處理。對于光照、姿態(tài)、表情這些方面，針對以往的方法中存在的問題，提出了可能的解決方案。</p><p>　　本文的主要研究內(nèi)容可概括如下：</p><p>　　（1）光照對三維人臉識別影響的算法研究</p><p>　　提出了一種基于球面諧波基圖像的光照補償算法，用以在任意光照條件下進行人臉識別。算

21、法分兩步進行：光照估計和光照補償。根據(jù)光照估計的結(jié)果，提出了兩種光照補償方法：紋理圖像和差圖像。紋理圖像為輸入圖像與其光照輻照圖之商，與輸入圖像的光照條件無關(guān)。差圖像為輸入圖像與平均人臉在相同光照下的圖像之差，通過減去平均人臉在相同光照下的圖像，減弱了光照的影響。</p><p>　　（2）姿態(tài)對三維人臉識別影響的算法研究</p><p>　　針對多姿態(tài)人臉識別問題，提出了一種三維形變模型

22、和部件技術(shù)相結(jié)合的人臉識別方法。該方法提取人臉三維部件作為識別特征，在一定程度上克服了人臉姿態(tài)變化對識別的影響。在識別過程中結(jié)合人臉的局部特征和全局特征，根據(jù)單個部件的識別率確定其在整體分類中的權(quán)值。基于整臉信息進行識別，進一步改善了識別效果。</p><p>　　表情對三維人臉識別影響的算法研究</p><p>　　針對表情變化帶來的塑性變形，Guidance-based constra

23、ints deformation(GCD) 模型基于泊松方程完成非中性人臉網(wǎng)格模型向中性模型的變形，有助于提高帶表情模型與同類中性模型之間的相似度；同時，將一個剛性約束無縫地融合到變形線性系統(tǒng)中，以保持類間的區(qū)別特征。因此，GCD模型有效地提高了表情變化的三維人臉識別的性能。</p><p>　　第2章 光照對三維人臉識別影響算法的研究</p><p>　　人臉識別經(jīng)過近40年的發(fā)展，對

24、于均勻光照下的中性表情的證明人臉圖像起識別率已經(jīng)很高，然而在一些更加復(fù)雜的情況下，現(xiàn)有的多數(shù)系統(tǒng)的識別性能還是受到光照變化的影響特別大，這是因為當人臉的光照發(fā)生變化時候，人臉圖像的外觀也會隨之發(fā)生很大的變化。</p><p>　　本章針對這個問題，提出了基于球面諧波基圖像的光照補償算法，用以在任意光照條件下進行人臉識別。算法份兩步進行：光照估計和光照補償。</p><p>　　2.1基于球

25、面諧波基圖像的人臉圖像光照估計</p><p>　　球面諧波子空間理論表明，在各向同性遠光源假設(shè)條件下，朗伯凸表面的任意圖像均可表示為該凸表面9個球面諧波基圖像的線性組合，這9個線性組合的系數(shù)反映了該圖像拍攝時的光照情況。而對于任意給定的2D圖像，如果能夠估計出對象的3D形狀和表面反射系數(shù)，則可以解析地計算出9個球面諧波基圖像，然后就可以通過最小二乘法解出9個光照系數(shù)。本節(jié)首先簡單介紹球面諧波子空間理論，然后給出

26、粗略估計人臉3D形狀和表面反射屬性進而計算給定人臉球面諧波基圖像的策略，最后給出了基于最小二乘的光照系數(shù)估計方法。</p><p>　　2.1.1球面諧波基圖像模型</p><p>　　本章的工作是基于Basri等[1]和Ramamoorthi[2]提 出的球面諧波理論而發(fā)展出來的，因此本節(jié)首先簡單介紹球面諧波基圖像模型。</p><p>　　假設(shè)物體為朗伯凸表面，

27、光源為各向同性遠光源，則其輻照度E為</p><p><b>　　(2-1) </b></p><p>　　其中為表面法線方向的球坐標表示，為入射光場，積分區(qū)間為物體表面法線方向的上半球，為一個旋轉(zhuǎn)操作，將局部坐標轉(zhuǎn)換成全局坐標。</p><p>　　式(2-1)實際上是一個旋轉(zhuǎn)卷積，因此很適合在空間頻域中分析。球面上的信號處理工具為球面諧波函

28、數(shù)，類似2D平面上的傅立葉級數(shù)。朗伯表面的反射方程在空域中積分區(qū)域很大(上半球)，根據(jù)Heisenberg測不準原理，則其在頻域中一定局限在低頻范圍。因此輻照度E在頻域中用球面諧波函數(shù)展開為</p><p><b>　　(2-2)</b></p><p>　　其中為朗伯反射函數(shù)的球面諧波系數(shù)，為光照的球面諧波系數(shù)，為球面諧波函數(shù)。式(2-2)的詳細推導請參考文獻[1,

29、2]。</p><p>　　假設(shè)人臉為朗伯凸表面，用表示人臉圖像中某點的反射率， 表示該點的法線方向，則其亮度為</p><p>　　= （2-3）</p><p>　　其中 （2-4）</p><p>　　為人臉的球

30、面諧波基圖像。球面諧波基圖像可以看作是人臉在諧波光照下的圖像，諧波光照為只含有一個諧波成分的虛擬光照環(huán)境。這樣，人臉圖像可表示為其9個球面諧波基圖像 的線性組合，這9個線性組合的系數(shù)為光照系數(shù) 。</p><p>　　2.1.2人臉的球面諧波基圖像近似 </p><p>　　為了利用球面諧波基圖像模型進行分析，我們需要知道人臉的球面諧波基圖像，即需知道人臉的反射率和法線，其中法線又與3D

31、形狀相關(guān)。9D線性子空間方法[7]利用已知的人臉3D結(jié)構(gòu)計算球面諧波基圖像，Zhang[3]等假設(shè)人臉諧波基圖像每點的分布符合高斯分布，再融合輸入人臉的信息，用MAP估計得到輸入人臉的諧波基圖像.在本文中，輸入人臉的反射率圖和法線圖也是通過“人臉類”的先驗知識得到。但我們所用的人臉類的先驗知識的表示有所不同。</p><p>　　人臉的形狀大致相同，該假設(shè)已用于很多視覺算法中[4,5,6]。由于表示光照的參數(shù)只有

32、9個，相對圖像的像素數(shù)目很少，因此可以將圖像的分辨率降低。而分辨率降低之后,不同人臉的形狀差異就更小了。且光照對圖像的影響是全局的，因此微小的形狀偏差不會對光照估計造成嚴重影響。但為了盡可能地減小輸入人臉形狀與平均人臉形狀的差別，本文采用基于特征點的變形技術(shù)，將平均3D人臉形狀變形到輸入人臉，以得到盡可能與輸入人臉相似的3D形狀。本文中我們用一種改進的AAM模型[7]來定位人臉圖像上的關(guān)鍵特征點。在輸入人臉圖像的特征點與平均3D人臉形狀

33、的特征點對齊之后，其它的頂點我們采用Kriging插值，將平均3D人臉形狀變形到輸入人臉,得到輸入人臉的3D形狀。</p><p>　　有了輸入人臉的形狀，其姿態(tài)也可以根據(jù)特征點的相對位置確定，則我們可以很容易地計算輸入人臉的法線。圖2.1給出了本文采用的平均人臉形狀、輸入人臉圖像的特征點及其經(jīng)過對齊后的特定人臉形狀和法線圖。</p><p>　　圖2.1平均人臉形狀及輸入人臉的形狀<

34、;/p><p>　　光照變化對特征點的精確定位仍然是一個巨大的挑戰(zhàn)。在光照條件很惡劣的情況下，自動定位的特征點不太準確。在本文實驗部分我們比較了只用兩個眼睛位置對齊平均人臉形狀模型和輸入人臉圖像的結(jié)果，以觀察系統(tǒng)對配準精度的敏感性。</p><p>　　關(guān)于反射率，我們假設(shè)人臉表面各點的反射率近似相等。更準確地，我們假設(shè)人臉的反射率圖中除了直流分量外不包含其它低頻分量①。雖然人臉表面并不嚴格滿

35、足上述假設(shè)，我們發(fā)現(xiàn)在實際應(yīng)用中還是取得了很好的效果。人眼觀察到的人臉皮膚顏色大致相同也證明了這一點。由于光照參數(shù)的維數(shù)很少，在實際應(yīng)用中，為了使輸入更符合這一點,我們將圖像的分辨率可以降得很低，這樣各點的反射率更接近，且反射率與皮膚差別較大的區(qū)域，如眉毛、眼睛、鼻子和嘴巴部分不參與光照估計運算。</p><p>　　給定任意輸入人臉圖像，通過上述方法估計其反射率和法線方向后，即可根據(jù)式(2-4)計算其球面諧波基

36、圖像。</p><p><b>　　2.1.3光照估計</b></p><p>　　給定一幅人臉圖像(維列向量，為圖像中的像素個數(shù))，并通過2.1.2節(jié)中的方法計算該人臉的球面諧波基圖像B，則式(2-3)中的未知數(shù)只有9個光照系數(shù)，因此，光照估計就是估計式(2-3)中的光照環(huán)境的9個低頻球面諧波系數(shù)。這可以通過解下述最小二乘問題得到</p><p&

37、gt;<b>　　（2-5）</b></p><p>　　其中為諧波基圖像的矩陣形式，是一個9×的矩陣，矩陣的每一列為一個諧波基圖像。</p><p>　　需要指出的是，根據(jù)式(2-5)估計出的光照系數(shù) 與真實的光照系數(shù)之間相差常數(shù)倍，即=，其中為反射率圖的直流系數(shù)。</p><p>　　2.2人臉圖像光照補償</p>

38、<p>　　在光照估計的基礎(chǔ)上，本節(jié)我們討論人臉圖像光照補償。光照補償是期望將輸入人臉圖像經(jīng)過處理后得到一個與光照無關(guān)或至少對光照變化不敏感的表示，從而使得人臉識別變得更容易。這可以用一個統(tǒng)一的計算模型來表達：</p><p><b>　　(2-6)</b></p><p>　　其中表示原始圖像，是削弱光照變化影響的變換，是變換后的特征表示，可以是圖像或者其

39、它特征。本節(jié)我們討論兩種光照補償方式：紋理圖像和差圖像。</p><p><b>　　2.2.1紋理圖像</b></p><p>　　如式(2-3)所示，，其中。這種表示形式的一個好處是可以將人臉圖像對紋理的依賴與形狀和光照的依賴分開，其中圖像對形狀和光照的依賴關(guān)系用輻照度表示。</p><p>　　估計出了光照條件并已知人臉的法線方向，我們可

40、以根據(jù)式(2-2)計算該人臉的輻照度度。這樣,給定輸入圖像及其對應(yīng)的輻照度，根據(jù)式(2-3)，我們得到輸入人臉的紋理圖像為原圖像與其輻照度之比，即</p><p><b>　　(2-7)</b></p><p>　　紋理圖像只包含紋理信息，與形狀無關(guān)，也與光照無關(guān)。但是由于計算紋理圖像時涉及除法，當輻照度中的像素亮度值較低時，會引入噪聲。為了抑制紋理圖像中的噪聲，在識

41、別時我們再對式(2-7)做對數(shù)變換，得到</p><p><b>　　(2-8)</b></p><p>　　作為式(2-6)中對光照變化不敏感的特征。</p><p>　　紋理圖像中雖然沒有形狀信息，但輻照度度E的計算還需要知道輸入人臉的形狀。與光照估計的全局過程不同，光照補償是對圖像中每個像素單獨進行是一個局部過程，因此在計算輸入人臉的形狀

42、時，對特征點定位精度有一定敏感性。</p><p><b>　　2.2.2差圖像</b></p><p>　　光照變化對特征點的準確定位至今仍是一個很大的挑戰(zhàn)，因此本小節(jié)我們考慮另外一種光照補償方式，既能保留輸入人臉的形狀和紋理信息，同時又對配準精度不敏感。</p><p>　　根據(jù)，輻照度依賴于光照和輸入人臉的形狀。輻照度中只包含低頻信息，濾

43、去圖像中的低頻信息就能將光照的影響去掉。進行濾波操作最合適的方法是將中的乘法變成log域中的加法。對式(2-3)兩邊進行l(wèi)og運算，也可以得到式(2-8)的紋理圖像。由上面的討論我們知道計算E還需要知道輸入人臉的形狀，因此對配準有一定要求。</p><p>　　由于輸入人臉的精確形狀很難得到，所以在下面的差圖像光照補償算法中我們不顯式地使用輸入人臉的形狀，只利用編碼在輸入圖像中的形狀信息。另外我們希望在處理之后的

44、圖像中不同輸入人臉形狀的信息還能得到保留。</p><p>　　用平均人臉模型來代替式(2-8)中的輸入人臉的形狀是一個很好的選擇：</p><p><b>　　(2-9)</b></p><p>　　其中是平均人臉在輸入光照下的輻照度。由于的低頻性質(zhì)和E類似，上式中的受光照的影響也很小。不同的是，上式中是用平均人臉形狀計算的，所以最后處理得到

45、的圖像中，不僅包含了輸入人臉的紋理信息，同時輸入人臉形狀同平均人臉形狀的差異也得到了保留。上式一個直觀的解釋是：將輸入圖像(log域)減去一個只與光照有關(guān)的成分(平均人臉在輸入光照下的輻照度)，最后得到的結(jié)果圖像中光照的影響得到了減弱，同時輸入人臉的形狀和紋理信息沒有丟失。</p><p>　　需要指出的是，當粗略配準時(只有兩個眼睛位置給定)，式(2-8)與式(2-9)是等價的。</p><

46、p>　　當輸入光照對應(yīng)的輻照度亮度過低時，式(2-8)的會隨變化有較大變化，帶來噪聲。為了抑制噪聲，我們退而求其次，用圖像域中的減法來代替式(2-9)中l(wèi)og域的減法，得到</p><p><b>　　(2-10)</b></p><p>　　如果將平均人臉的紋理看成為常數(shù)1，則可以看成為，為平均人臉在輸入光照下的圖像。這樣將</p><p&

47、gt;<b>　　(2-11)</b></p><p>　　定義為差圖像，作為式(2-6)中對光照變化不敏感的特征F。</p><p>　　由于兩幅圖像在相同光照下，通過對兩幅圖像做差，減弱了光照變化對人臉圖像的影響，從而達到光照補償?shù)哪康模瑫r又保留了用于識別的輸入人臉與平均人臉的差別。該差別既包括由紋理引起的差別，也包括由形狀引起的差別。</p>&

48、lt;p>　　第3章 姿態(tài)對三維人臉識別影響的算法研究</p><p>　　一種三維形變模型和部件技術(shù)相結(jié)合的多姿態(tài)人臉識別方法。該方法有效地對姿態(tài)問題進行了很好地處理。</p><p>　　首先利用ASM對三維形變模型建立過程中的分片進行優(yōu)化，使原型人臉的對齊是以人臉的特征區(qū)域為基礎(chǔ)；然后利用形變模型重建三維人臉，依據(jù)分片原則將三維人臉劃分為各個部件，把部件的幾何信息和紋理信息作為

49、識別的特征。在分類中，采用兩層分類方法，第1層以每個部件作為弱分類器，統(tǒng)計其識別率；第2層根據(jù)每個部件的識別率決定其在整體分類中的權(quán)值，基于整臉信息進行識別。作者是在三維上實現(xiàn)人臉識別，增加了深度信息，結(jié)合部件對姿態(tài)的魯棒性，在一定程度上克服了姿態(tài)變化的影響。在分類識別算法中，把人臉的局部特征和全局特征結(jié)合起來，取得了很好的識別效果。</p><p><b>　　3.1三維形變模型</b>&

50、lt;/p><p>　　形變模型使用一類對象中若干典型樣本張成該類對象的一個子空間，使用子空間基底的組合近似表示該類對象的特定實例。使用形變模型進行三維人臉重建分為2個過程：1)建立模型，獲取人臉數(shù)據(jù)并建立人臉的對應(yīng)和組合模型；2)針對特定人臉圖像，進行模型匹配，實現(xiàn)三維人臉重建。</p><p>　　三維人臉庫中的原型人臉可用幾何向量和紋理向量統(tǒng)一表示</p><p>

51、;<b>　　（3-1）</b></p><p>　　式中，；表示人臉的數(shù)量；表示三維人臉模型中頂點的個數(shù)；是和頂點對應(yīng)的R、G、B顏色值。則形變模型可由線性組合給出</p><p>　　， 其中 （3-2）</p><p>　　式中，表示變形生成的幾何向量；表示變形生成的紋理向量。對于給定的人臉圖

52、像，模型匹配是將三維人臉模型變形，使得變形后的模型人臉與給定人臉圖像最為匹配。由于三維人臉與二維圖像的誤差不能直接度量，因此可將三維人臉投影到圖像空間進行比較。對于特定的人臉圖像及模型人臉的投影圖像，用2副圖像對應(yīng)像素點顏色紋理的參差來定義它們之間的誤差</p><p><b>　　(3-3)</b></p><p>　　式中，表示輸入圖像上的像素點，表示投影圖像上的

53、像素點?？刹捎秒S機梯度下降法優(yōu)化式(3-3)的目標函數(shù)，得到形變參數(shù)。.給定1副或幾副人臉照片，進行匹配優(yōu)化，即可得到三維特定人臉(見圖3-1)。</p><p>　　圖3.1 不同姿態(tài)的人臉重建結(jié)果</p><p>　　3.2基于ASM的三維人臉分片</p><p>　　形變模型的關(guān)鍵是原型人臉間稠密點集的對齊，對齊的準確度直接影響線性組合的結(jié)果。針對三維原型人臉

54、的數(shù)據(jù)特點，Gu Chun-liang等提出了一種基于分片重采樣的三維對應(yīng)技術(shù)[8]，得到的所有三維原型人臉具有統(tǒng)一的拓撲結(jié)構(gòu)。但該方法在分片過程中，需要人工交互定義一些特征點和線，采樣點密度有限，分片與特征區(qū)域并未達到很好的對應(yīng)，作者提出的人臉識別方法以三維部件為特征，而三維部件是以分片為基礎(chǔ)，分片的準確性將影響到部件提取的質(zhì)量。</p><p>　　原型人臉包含形狀信息與紋理信息2部分數(shù)據(jù)，利用ASM在紋理圖

55、上標定特征點，以所有特征點的連線作為分片邊界，將紋理圖分割成不同的區(qū)域[9]。然后根據(jù)紋理映射圖，將分片結(jié)果映射到三維人臉上，完成對三維人臉的分片(見圖3-2)。</p><p>　　圖3.2 特征點的標定結(jié)果與分片結(jié)果</p><p>　　重采樣要求分片時盡量保證特征點與特征區(qū)域的一致，眼睛、眉毛、鼻子和嘴是人臉的主要特征，作者增加了上述部位的特征點數(shù)，更大限度地保證每個分片是以人臉的特

56、征區(qū)域為基準，同時由于ASM自動定位特征點的特性，實現(xiàn)了自動化分片。分片完成后，利用重采樣方法實現(xiàn)三維原型人臉對齊，建立形變模型。</p><p>　　3.3基于三維部件技術(shù)的人臉識別</p><p>　　在二維多姿態(tài)人臉識別中，相對于整臉，基于部件技術(shù)的人臉識別方法可以達到較好的識別效果，但該方法需要采集大量樣本，當目標人臉照片跟庫中樣本的姿態(tài)差別較大時，識別率較低；在分類中，把部件的整

57、體組合作為識別特征，不能反映各個部件的局部特性。作者采用三維形變模型和部件技術(shù)相結(jié)合的方法解決多姿態(tài)人臉問題紋理數(shù)據(jù)與幾何數(shù)據(jù)是一一對應(yīng)的，根據(jù)任意姿態(tài)照片建的三維人臉，都可以與正面照片重建的三維人臉直接比較，一定程度上能克服姿態(tài)對人臉識別的影響。在分類中，采用2層分類方法，把人臉的局部特征和全局特征結(jié)合起來進行識別。</p><p><b>　　3.3.1特征提取</b></p>

58、;<p>　　本文的三維形變模型采用了基于分片重采樣的三維人臉對齊方法，所有的三維人臉具有統(tǒng)一的拓撲構(gòu)。分片是以人臉的特征區(qū)域為準則，各個部件以分片的區(qū)域為基礎(chǔ)劃分，整個三維人臉定義為所有部的組合，表示人臉的全局特征；每個部件代表著人臉不同的區(qū)域特征，表示人臉的局部特征，對于姿態(tài)的化具有一定的魯棒性。圖3-3中不同姿態(tài)的人臉照片差異較大，提取三維部件后，對主要部件而言，差異對較小(圖3d)，識別中可以增加這些部件的權(quán)重，降

59、低受姿態(tài)影響較大的部件的權(quán)重。</p><p>　　圖3.3 不同姿態(tài)的人臉對應(yīng)的主要三維部件</p><p>　　每個三維部件用幾何向量和紋理向量表示</p><p><b>　　，</b></p><p>　　， （3-4）</p><p>　　式中，為部件

60、的數(shù)目；為幾何坐標值；為紋理坐標值；為部件的點數(shù)。</p><p>　　訓練過程中，給定張二維正面人臉照片，利用形變模型重建每張照片對應(yīng)的三維人臉，提取各個，得到其幾何向量和紋理向量</p><p><b>　　，</b></p><p>　　， （3-5）</p><p>　　為了簡化計算，作者利用PCA[

61、10]算法，分別對紋理向量和幾何向量進行降維，得到幾何投影矩 和紋理投影矩陣,并將、分別在和作投影</p><p><b>　　（3-6）</b></p><p><b>　　每個部件表示為</b></p><p><b>　?。?-7）</b></p><p>　　式中，為相

62、應(yīng)部件的幾何向量維數(shù)； 為紋理向量維數(shù)。</p><p>　　每個人臉 最終表示為</p><p><b>　　(3-8)</b></p><p><b>　　3.3.2分類方法</b></p><p>　　以部件的整體為分類器，容易忽略人臉的局部特征，僅以某個部件作為分類器，分類效果會很差，作者考

63、慮將2種方法有效地結(jié)合起來，采用兩層分類方法：第1層分類，將每個三維人臉部件作為一個弱分類器，統(tǒng)計其識別率；第2層把這些弱分類器組合成一個強分類器，根據(jù)每個部件的識別率，確定各個部件在強分類器中的權(quán)值，改善了識別效果。在識別過程中，用多姿態(tài)人臉照片重建三維人臉，提取每個部件，得到幾何向量和紋理向量，根據(jù)式(3-3-3)分別向和作投影變換后，得到人臉C最終表示</p><p><b>　?。?-9）<

64、;/b></p><p>　　每個部件的分類判別式為</p><p><b>　　(3-10)</b></p><p>　　式中，=1，2，…，；=1，2，…，。</p><p>　　綜上所述，可以確定每個部件的識別率，根據(jù)該識別率確定每個部件在整體強分類器中的權(quán)值，后整體分類器的分類公式為</p>

65、<p><b>　?。?-11）</b></p><p>　　式中= </p><p>　　第4章 表情對三維人臉識別的影響的研究</p><p>　　3D人臉模型具有顯式的形狀，與2D圖像相比較而言，對姿態(tài)、光線、化妝、皮膚顏色等因素不敏感，因而3D人臉識別技術(shù)在這些方面相比2D人臉識別有天然的優(yōu)勢，這大大拓展了人臉識

66、別的應(yīng)用空間。然而，正如人臉表情將會影響2D圖像的表觀，從而大大降低2D人臉識別算法的性能一樣[11]，人臉表情也將改變3D人臉模型的形狀，造成人臉局部區(qū)域產(chǎn)生塑性變形，如圖4.1，塑性變形造成了人臉形狀的較大改變。盡管這種改變是表情造成的，而不是個體差異造成的，但是，由于無法區(qū)分差異的原因，因而沒有理由認為兩張表情造成的形狀不同的3D人臉來自于同一個人，因而表情也降低3D人臉匹配算法的性能。</p><p>　

67、　因此，如何克服或降低表情的影響是3D人臉識別中一個關(guān)鍵的問題和挑戰(zhàn)，在本章中，我們將討論如何建立一個3D人臉的弱表情模型，在匹配之前對人臉網(wǎng)格應(yīng)用該模型，從而降低表情對算法的性能損害。</p><p>　　圖4.1表情帶來的人臉塑性扭曲</p><p><b>　　4.1算法思想</b></p><p>　　本節(jié)我們首先定義3D人臉識別中的表

68、情問題，以將求解的問題明確化，然后分析可行的解決方案。</p><p>　　3D人臉識別問題和確認問題都包含一個庫，每人至少在庫中登記了一個模型，正如我們上一節(jié)所述，一個人登記多個模型會造成運算規(guī)模變大而缺乏實用，我們規(guī)定中每個人都只有一個模型，且是中性表情模型。問題定義為：中登記了多個身份人每人一個的中性表情模型，對輸入的一個帶表情的模型，如何實現(xiàn)正確的分類。 </p><p>　　

69、定義兩個相似度，類間相似度，是指不同人對應(yīng)的模型之間的相似度，類內(nèi)相似度 ，是指同一個人不同模型之間的相似度。表情的引入自然降低了類內(nèi)相似度，使得同類模型從匹配結(jié)果上看如同異類一樣。如圖4.2，A類的由于表情改變了3D形狀，使得它距離A類較遠，而距離非A類較近，造成匹配錯誤。考慮對進行變換，圖4.2中有9條變換方向，分別編號為1-9，圖中1、2、9三條變換方向有助于拉近與A類之間的距離，其它變換方向都不利于正確分類，因為它們使得與A類更

70、不相似。在1、2、9這條變換方向中，2號變換方向同時拉進與A類和非A類的距離，依然不利于分類。l號變換方向是最佳的，拉進與A類距離的同時保持著與非A類的差別。這正是我們的解決表情問題的方向，即，對3D人臉識別中的表情問題，由于我們是面向識別性能這個目標，我們并不需要建立一個統(tǒng)一的表情生成和轉(zhuǎn)變模型，只需建立一個變換，該變換能提高類內(nèi)相似度，而保持類間的差別度，如式4-1。</p><p><b>　　(

71、4-1)</b></p><p>　　圖4.2表情引起的類內(nèi)相似度變化示意圖</p><p>　　假設(shè)我們有一種自由變形技術(shù)，可以將給定的帶表情的在其自身拓撲條件約束下盡可能地向另外一個模型進行變形，利用中模型的信息，假設(shè)中存在一個模型與來自于同一個人，總能變形成與非常相似。但會向每一個中的模型變形，這就造成了與其它非同類的模型也變得相似，這是圖4.2中2號變換線的變換方向。改

72、進的想法是，我們不對的全部區(qū)域進行變形，假設(shè)可以分為兩部分和，前者是表情相對不變的區(qū)域，后者是表情影響大的區(qū)域，我們只對部分向中的模型變形，此時，由于部分與的對應(yīng)部分依然很相似，經(jīng)部分的變化，仍有機會變成總體與很相似。這就拉近了類內(nèi)模型的相似度，同時，當向其它非同類模型變形時，由于部分保留使得不會拉近與其它模型的相似度，這就實現(xiàn)了保持類間模型仍然具足夠差別的目的?，F(xiàn)在去掉中存在的假設(shè)，由于缺少正確的變形向?qū)?，無法變形成它自身中性模型的模

73、式，但它依然保持了與中其它模型的區(qū)別度，即保持了類間差別度。按以上的思路，我們提出了一個基于變形的弱表情模型，GCD模型(Guidance-based constraint deformation)。</p><p>　　4.2(Guidance-based constraint deformation) (GCD)模型</p><p>　　GCD模型基于網(wǎng)格變形技術(shù)，其目的是為了減小輸入

74、模型的曲面塑性扭曲，GCD模型是3D人臉識別匹配前對輸入模型的中間處理步驟。本節(jié)我們首先描述GCD模型的框架和相關(guān)的理論背景，然后對該模型的核心步驟，基于向?qū)У淖冃魏妥冃蝿傂约s束進行詳細描述。</p><p>　　4.3 GCD模型的框架</p><p><b>　　4.2.1模型框架</b></p><p>　　正如前所述，GCD模型要完成兩

75、項關(guān)鍵操作，一是將probe在自身拓撲結(jié)構(gòu)的約束下向gallery中每一個模型進行變形操作，其次操作是給定兩個人臉網(wǎng)格Mp和Mg，將Mp向Mg變形，我們稱之為基于向?qū)У淖冃渭夹g(shù)(Guidance-based deformation)；二是保證只變形Mp中的剛性部分，這一步操作我們通過一個剛性約束完成，稱之Rigid Constraint。圖4.3描述了GCD模型的主要框架。</p><p><b>　　

76、4.2.2理論背景</b></p><p>　　按網(wǎng)格流形的嚴格定義，3D人臉曲面可以表示為一個2D流形網(wǎng)格，圖4.4顯示了一個1環(huán)的網(wǎng)格；在3D人臉網(wǎng)格上，我們定義以下概念:</p><p>　　圖4.4 一環(huán)網(wǎng)格</p><p>　　(l)離散標量場(Discrete Scalar Fields)和離散矢量場（Discrete Vector Fie

77、lds）</p><p>　　網(wǎng)格上定義的離散標量場，可以表示為：</p><p><b>　　(4-2)</b></p><p>　　其中是一個分段線性基函數(shù)，在上點值為1，其它頂點位置值為0，因此，標量場在處的值為。網(wǎng)格上點的坐標的三個分量都滿足標量場的定義，可以看作是定義在網(wǎng)格上的三個標量場。</p><p>　　

78、上離散矢量場的定義類似于標量場，如下：</p><p><b>　　(4-3)</b></p><p>　　其中是分段?；瘮?shù)(piecewise-constant basis function)，在三角形片內(nèi)部為1，外部為0；表示與頂點鄰接的所有三角面片集。標量場的梯度場是網(wǎng)格上的一個矢量場。</p><p>　　(2)離散梯度運算子(Dis

79、crete Gradient Operator)</p><p>　　網(wǎng)格上離散標量場的梯度運算子定義如下：</p><p><b>　　(4-4)</b></p><p>　　其中是頂點依附的三角形，它的三個頂點為，按逆時針排序。</p><p><b>　　(4-5) </b></p>

80、;<p>　　其中表示三角形的面積，%是求模運算符，(·)⊥ 表示將向量沿的法向逆時針旋轉(zhuǎn)90度。標量場經(jīng)梯度運算，可以得到一個梯度向量場，在內(nèi)部，梯度是一個常量。</p><p>　　(3)離散散度運算子（Discrete Divergence Operator）</p><p>　　給定網(wǎng)格上的向量場，散度運算子定義為[12]：</p><p

81、><b>　?。?-6）</b></p><p>　　其中表示向量點乘運算。</p><p>　　(4)離散拉普拉斯運算子（Discrete Lapace-Beltrami Operator）</p><p>　　標量場上的拉普拉斯算子在1環(huán)網(wǎng)格上可以表示為下式，參考圖4.4中角度的符號。</p><p><

82、b>　?。?-7）</b></p><p>　　其中表示頂點的鄰接頂點。</p><p><b>　　結(jié)　　論</b></p><p>　　本文通過分別對光照、姿態(tài)、表情對三維人臉識別的影響的算法進行了研究，實驗還是比較成功，但對還是有些方面不足。</p><p>　　基于球面諧波理論，本文提出了兩種對

83、任意光照下的人臉圖像進行光照補償?shù)乃惴?。我們首先估計輸入人臉圖像的光照條件，即光照環(huán)境的9個低維球面諧波系數(shù)。在光照估計的基礎(chǔ)上，我們提出了兩種光照補償?shù)姆椒ǎ杭y理圖像和差圖像。本文還討論了光照估計和光照補償對對齊精度的敏感性，這對我們構(gòu)造實用的人臉識別系統(tǒng)也很重要。</p><p>　　基于不精確的特征對齊進行3D形狀估計進而對光照進行估計影響不是太大，但準確的特征點定位有助于得到更準確的3D形狀，進而提高人臉

84、識別率。因此下一步工作是提高特征點定位的準確性，尤其是在光照條件不佳時。另外降低光照補償中的噪聲也是下一步工作之一。</p><p>　　針對多姿態(tài)人臉識別的問題，提出了一種三維形變模型與部件技術(shù)相結(jié)合的識別方法，利用三維形變模型重建三維人臉，將三維人臉劃分為36個部件，把三維部件的幾何向量和紋理向量作為識別的特征，由于增加了深度信息，同時結(jié)合部件對姿態(tài)變化的魯棒性，在一定程度上克服姿態(tài)變化的影響；兩層分類方法把

85、人臉的局部特征和全局特征有效地結(jié)合起來，在二維和三維條件下都可以達到較好的識別效果。</p><p>　　提出了一個克服表情影響的GCD模型。該模型的出發(fā)點是通過變形提高類內(nèi)三維人臉的相似度，同時保持類間模型的區(qū)別。借助網(wǎng)格變形技術(shù)，非中性人臉向中性向?qū)У淖冃斡兄谔岣哳悆?nèi)相似度，同時，剛性約束條件保證了類間相似度不會提高。GCD模型是表情不變的三維人臉識別領(lǐng)域的重要工作，國外同行對該算法給予了較高的評價。實驗也

86、表明，GCD模型顯著提高了表情變化下的三維人臉識別的性能。</p><p>　　對光照、姿態(tài)、表情對三維人臉識別的影響都進行了研究，有所欠缺的是沒有把這些算法實踐到具體的系統(tǒng)中。</p><p><b>　　參 考 文 獻</b></p><p>　　[1] 卿來云,山世光,陳熙霖等.基于球面諧波基圖像的任意光照下的人臉識別[J].計算機學報,

87、2006,29(5): 760-768</p><p>　　[2] 柴秀娟,山世光,卿來云等.基于3D人臉重建的光照、姿態(tài)不變?nèi)四樧R別[J].軟件學報, 2006, 17(3): 525-534</p><p>　　[3] 胡峰松,林亞平等.應(yīng)用于人臉識別的基于Candide-3特定人臉三維重建[J].湖南大學學報, 2008, 35(11): 69-73</p><p

88、>　　[4] 劉小軍,王東峰,張麗飛等.一種基于奇異值分解和隱馬爾可夫模型的人臉識別方法[J].計算機學報, 2003, 26(3): 340-344</p><p>　　[5] 柴秀娟,山世光,高文等.基于樣例學習的面部特征自動標定算法[J].軟件學報, 2005, 16(5): 718-726</p><p>　　[6] 宋楓溪,楊靜宇,劉樹海等.基于多類最大散底差的人臉表示方法

89、[J].自動化學報, 2006, 32(3): 378-385</p><p>　　[7] 潘綱,三維人臉識別若干技術(shù)研究:[D],杭州;浙江大學,2003</p><p>　　[8] 葉劍華,劉正光,基于3DLBP和核判別分析的三維人臉識別[J],天津大學學報,2008,41（3）:344-348</p><p>　　[9] 張文超,山世光,張洪名等,基于局部Ga

90、bor變化直方圖序列的人臉描述與識別[J],軟件學報,2006,17(12):2508-2517</p><p>　　[10] 山世光,人臉識別中若干關(guān)鍵問題的研究:[D],北京;中國科學院,2004</p><p>　　[11] 劉瑾,人臉識別中的大樣本集問題及多模式圖像融合方法的研究:[D],天津;天津大學,2006</p><p>　　[12] 葉劍華, 三維

91、及多模態(tài)人臉識別研究:[D], 天津;天津大學,2008</p><p>　　[13] 王躍明,表情不變的三維人臉識別研究;[D],浙江,浙江大學,2007</p><p><b>　　致　　謝</b></p><p>　　本論文是在我的指導導師杜杏菁老師的精心指導下完成的。在畢設(shè)期間，杜老師言傳身教，從技術(shù)路線直至許多具體細節(jié)，都給予了我至關(guān)

92、重要的指導和幫助。杜老師嚴謹?shù)闹螌W態(tài)度、淵博的理論知識、開闊的思維方式、永遠高昂的工作激情都給我留下了深刻的印象，永遠是我學習的榜樣。杜老師在理論和工程兩個方面的嚴格要求，使我不僅學到了扎實的理論知識，而且獲得了豐富的實踐經(jīng)驗。在工作和為人兩方面，從杜老師身上學到的一切東西都將使我的一生受益無窮。</p><p>　　再次感謝杜老師，她的指導陪伴我度過了四年的大學生涯，杜老師踏實的作風、深邃的思維、廣博的知識，總

93、讓我羨慕不已，可以說，我的每一點成長與進步，都與杜老師有關(guān)，杜老師對我的影響必將持續(xù)到我未來的生活、工作和家庭中去。</p><p>　　感謝我的室友文成志和郝佳奇，和他們一起共同努力渡過大學生活，非?？鞓?。他們在學習和生活中給予了我大量的幫助，曾與我一起分享許多快樂的時光。</p><p>　　最感謝我最敬愛的父母，在我多年的求學過程中，他們一直在背后默默無聞地支持我、幫助我，使我對生活