畢業(yè)設(shè)計(jì)---基于核化mmc的人臉識別系統(tǒng)

1、<p>　　基于核化MMC的人臉識別系統(tǒng)</p><p><b>　　摘 要</b></p><p>　　人臉識別是模式識別研究領(lǐng)域中一個(gè)較為熱的研究方向。在實(shí)際應(yīng)用中，人臉往往看成高維數(shù)據(jù)，因此會遇到維數(shù)災(zāi)難問題，此時(shí)需要通過數(shù)據(jù)降維進(jìn)行特征提取，即將原始數(shù)據(jù)對應(yīng)的高維空間數(shù)據(jù)映射到低維空間中，并盡可能地保持?jǐn)?shù)據(jù)間的判別信息，以利于分類問題。<

2、/p><p>　　論文首先對人臉識別進(jìn)行簡單介紹和概述，將眾多人臉識別分為幾類，基于核化最大間距準(zhǔn)則算法（KMMC）采用非線性映射將原始數(shù)據(jù)由數(shù)據(jù)空間映射到高維特征空間，然后再在特征空間中進(jìn)行了相應(yīng)的線性操作，該特征提取方法消除了核鑒別矢量間的統(tǒng)計(jì)相關(guān)性，提高了特征提取的有效性，通過在ORL人臉庫上進(jìn)行試驗(yàn)，結(jié)果表明提出的特征提取方法在人臉識別中的有效性。</p><p>　　關(guān)鍵詞：人臉識別

3、；降維；KMMC</p><p>　　Kernel MMC Based Face Recognition Algorithms System</p><p><b>　　Abstract</b></p><p>　　Face recognition is one of the hottest research topics in pattern

4、 recognition. In practical applications, the face’s image are high-dimensional, which will encounter ‘the curse of dimensionality’, and in such cases, there is a great need to use dimensionality reduction method to extra

5、ct features. That is to say, the high dimensional data are mapped into lower dimensional ones, meanwhile the discriminant information are preserved as much as possible, which helps for classification.</p><p>

6、;　　Firstly, some basics about face recognition are introduced and surveyed. The kernel maximum margin criterion(KMMC) algorithm is non-linear mapping to the original data from the data space is mapped into high dimension

7、al feature space, Then in the feature space corresponding linear operation, the method is powerful in eliminating the statistical correlation between feature vectors and improving efficiency of feature extraction in the

8、high dimensional feature space. The experimental results on Oli</p><p>　　Keywords：Face recognition; Dimension reduction; kernel maximum margin criterion(KMMC)</p><p><b>　　目 錄</b>&

9、lt;/p><p><b>　　引 言1</b></p><p><b>　　第1章 緒論2</b></p><p>　　1.1 人臉識別的研究意義2</p><p>　　1.2 人臉識別的研究現(xiàn)狀2</p><p>　　1.3 人臉識別的應(yīng)用3</p>

10、<p>　　1.4 人臉識別的研究內(nèi)容3</p><p>　　1.5 人臉識別存在的問題4</p><p>　　1.6 本文的研究內(nèi)容及組織結(jié)構(gòu)5</p><p>　　第2章 人臉識別概述6</p><p>　　2.1 基于幾何特征的人臉識別6</p><p>　　2.2 基于彈性圖匹配的人臉識別

11、6</p><p>　　2.3 基于神經(jīng)網(wǎng)絡(luò)的人臉識別6</p><p>　　2.4 基于模板匹配的方法7</p><p>　　2.5 基于隱馬爾可夫方法7</p><p>　　2.6 基于貝葉斯網(wǎng)絡(luò)的人臉識別7</p><p>　　2.7 基于核方法的人臉識別8</p><p>　

12、　2.8 本章小結(jié)9</p><p>　　第3章 數(shù)據(jù)降維算法概述10</p><p>　　3.1 線性降維算法10</p><p>　　3.1.1 主成分分析10</p><p>　　3.1.2 線性判別分析11</p><p>　　3.2 非線性降維算法12</p><p>　　

13、3.2.1 等度映射12</p><p>　　3.2.2 局部線性嵌入13</p><p>　　3.2.3 拉普拉斯映射13</p><p>　　3.2.4 基于核技巧的非線性降維算法14</p><p>　　3.3 流行學(xué)習(xí)算法的幾個(gè)線性化算法14</p><p>　　3.4 本章小結(jié)15</p&g

14、t;<p>　　第4章 基于核方法的最大間距準(zhǔn)則算法16</p><p><b>　　4.1 引言16</b></p><p>　　4.2 算法推導(dǎo)16</p><p>　　4.2.1 KPCA算法16</p><p>　　4.2.2 MMC方法18</p><p>　　4

15、.2.3 KMMC算法20</p><p>　　4.3 系統(tǒng)功能及實(shí)現(xiàn)22</p><p>　　4.3.1 系統(tǒng)基本功能流程22</p><p>　　4.3.2 系統(tǒng)演示說明25</p><p>　　4.4 計(jì)算機(jī)仿真算法描述與實(shí)驗(yàn)結(jié)果29</p><p>　　4.4.1 實(shí)驗(yàn)參數(shù)描述29</p>

16、;<p>　　4.4.2 算法描述29</p><p>　　4.4.3 實(shí)驗(yàn)與實(shí)驗(yàn)結(jié)果30</p><p>　　4.5 本章小結(jié)34</p><p><b>　　結(jié)論與展望35</b></p><p><b>　　致 謝36</b></p><p>

17、<b>　　參考文獻(xiàn)37</b></p><p>　　附 錄A 外文文獻(xiàn)及譯文38</p><p>　　附 錄B 參考文獻(xiàn)的題錄及摘要51</p><p>　　附 錄C 程序源代碼55</p><p><b>　　插圖清單</b></p><p>　　圖

18、1-1 人臉自動識別系統(tǒng)的主要環(huán)節(jié)4</p><p>　　圖 3-1 歐式距離（虛線），測地線距離和最短路徑距離比較12</p><p>　　圖 4-1 二維空間中的四個(gè)類及其邊緣距離19</p><p>　　圖 4-2 人臉識別模塊流程圖23</p><p>　　圖 4-3 人臉檢測模塊流程圖24</p><p

19、>　　圖 4-4 系統(tǒng)總體流程圖25</p><p>　　圖 4-5 系統(tǒng)啟動畫面26</p><p>　　圖 4-6 人臉識別功能圖126</p><p>　　圖 4-7 人臉識別功能圖227</p><p>　　圖 4-8 人臉識別功能圖327</p><p>　　圖 4-9 人臉識別功能圖428

20、</p><p>　　圖 4-10 人臉檢測功能圖128</p><p>　　圖 4-11 人臉檢測功能圖229</p><p>　　圖 4-12 人臉庫部分圖像29</p><p>　　圖 4-13 基于核最大間距準(zhǔn)則的算法框圖30</p><p>　　圖 4-14 主分量數(shù)對識別性能的影響31</p

21、><p>　　圖 4-15 主分量數(shù)對識別時(shí)間的影響31</p><p>　　圖 4-15 x=5時(shí)識別率與降維關(guān)系圖33</p><p>　　圖 4-16 x=7時(shí)識別率與降維關(guān)系圖34</p><p><b>　　表格清單</b></p><p>　　表 4-1 x=5時(shí)識別率與降維關(guān)

22、系表32</p><p>　　表 4-2 x=7時(shí)識別率與降維關(guān)系表33</p><p>　　表 4-3 KMMC，KPCA兩種方法所達(dá)最佳的識別率34</p><p><b>　　引 言</b></p><p>　　人臉識別是生物特征識別技術(shù)的一種，生物特征識別是根據(jù)生物體自身特征利用計(jì)算機(jī)進(jìn)行身份識別的一

23、種技術(shù)。常用的生物特征有，DNA、虹膜、指紋、掌紋、語音、人臉等。與其它生物特征相比，人臉具有很強(qiáng)的自身穩(wěn)定性和個(gè)體差異性，人臉識別更為直接、友好、符合人類認(rèn)知習(xí)慣、容易被人接受，因此有著廣闊的應(yīng)用前景。</p><p>　　人臉識別是計(jì)算機(jī)視覺和模式識別領(lǐng)域中的一個(gè)難題，它涉及到信號處理、圖像處理、模式識別、神經(jīng)網(wǎng)絡(luò)、認(rèn)知科學(xué)、心理學(xué)和生理學(xué)等諸多學(xué)科，在過去的十多年中受到研究人員的廣泛重視，研究也越來越深入，

24、但是由于人臉識不同于一般的目標(biāo)識別，其難度極大，人臉識別技術(shù)還不夠完善，應(yīng)用工作還處于嘗試階段。</p><p>　　人臉識別的困難行表項(xiàng)在：人臉結(jié)構(gòu)大體相同，所不同的是一些細(xì)節(jié)上的差異；人臉不是純粹的剛體，具有復(fù)雜而豐富的表情（喜怒哀樂等）；人臉隨著年齡增長會呈現(xiàn)出很大的不同；由于外界環(huán)境的影響，例如眼鏡、光照條件、成像角度、以及成像距離等因素的影響，使得同一個(gè)人的人臉圖像在不同的條件下呈現(xiàn)出很大的差異。目前尚

25、沒有很好的描述人臉的三維模型。諸多因素使得人臉識別成為計(jì)算機(jī)視覺領(lǐng)域一個(gè)富有挑戰(zhàn)性的課題。</p><p>　　論文對目前比較流行的降維算法進(jìn)行了介紹，主要從兩方面出發(fā)：1）線性化算法、比如 PCA; 2）非線性化算法，主要是基于核技巧的算法，比如KPCA 。在這些基礎(chǔ)上，學(xué)習(xí)和研究了基于核化最大間距準(zhǔn)則算法，并通過實(shí)驗(yàn)仿真驗(yàn)證了算法的正確性和有效性，實(shí)驗(yàn)表明比經(jīng)典算法 PCA、KPCA 和MMC有更高的識別率。

26、</p><p><b>　　。</b></p><p><b>　　緒論</b></p><p><b>　　人臉識別的研究意義</b></p><p>　　近幾年來，隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的高速發(fā)展和信息化進(jìn)程的日益加快，信息安全</p><p>　　和

27、公共安全越來越顯示出其前所未有的重要性，成為了許多信息系統(tǒng)要首先考慮的問題。人臉識別作為一種非接觸、隱蔽性較好的生物特征識別技術(shù)而受到極大的關(guān)注。在公安部門、海關(guān)部門、視頻會議、小區(qū)和銀行監(jiān)控等領(lǐng)域有著很高的應(yīng)用價(jià)值。并且人臉識別是一項(xiàng)復(fù)雜的工作，涉及到模式識別、圖像處理、計(jì)算機(jī)視覺、認(rèn)知學(xué)等領(lǐng)域，因此對人臉識別的研究有助于其它領(lǐng)域的發(fā)展，具有重要的學(xué)術(shù)價(jià)值。</p><p><b>　　人臉識別的研究

28、現(xiàn)狀</b></p><p>　　人臉識別最早可以追溯到十九世紀(jì)八十年代年，但人臉識別的真正研究起始于二十世紀(jì)六十年代末，Bledsoe 等人以人臉特征點(diǎn)的間距、比率等參數(shù)為特征，建成了一個(gè)半自動化的人臉識別系統(tǒng)，但因受到技術(shù)條件限制發(fā)展緩慢。從二十世紀(jì)六十年代末至今，人臉識別算法技術(shù)的發(fā)展大體可以分為如下四個(gè)階段:</p><p>　　1)基于簡單背景的人臉識別階段：這是人臉

29、識別研究的初級階段，它從二十世紀(jì)六十年代開始，通常利用人臉器官的局部特征來描述人臉，但是由于人臉器官沒有顯著的邊緣且比較易受到表情的影響，因此它僅限于正面人臉(變形很小)的識別。</p><p>　　2)基于多姿態(tài)/表情的人臉識別階段：這是人臉識別研究的發(fā)展階段，它從二十世紀(jì)七十年代開始末，但到九十年代年代初才被人們真正關(guān)注并進(jìn)行專門研究，并得到較快發(fā)展。</p><p>　　3)動態(tài)跟蹤

30、人臉識別階段：這是人臉識別研究的實(shí)用化階段，從二十世紀(jì)九十年代末開始，特別是”9.11”事件促進(jìn)了動態(tài)人臉跟蹤技術(shù)的快速發(fā)展，同時(shí)也促進(jìn)了其他生物特征識別技術(shù)的發(fā)展。</p><p>　　4)三維人臉識別階段：為了獲得更多的特征信息，直接就利用二維人臉圖像來合成三維人臉模型進(jìn)行識別，也成為該領(lǐng)域的一個(gè)主要研究方向，現(xiàn)有研究將兩維圖像重構(gòu)三維圖像，這也是一個(gè)研究方向。</p><p>　　當(dāng)

31、前，雖然人臉識別技術(shù)的應(yīng)用還沒有能夠做到“普及”，但是不能否認(rèn)的是，它已經(jīng)在開始影響著我們的生活。</p><p>　　近幾年來，國內(nèi)外學(xué)者對人臉識別技術(shù)做了大量研究。在國際上，主要有北美的一些研究機(jī)構(gòu)、一些歐洲國家、日本等，著名的研究機(jī)構(gòu)有美國 MIT 的多媒體實(shí)驗(yàn)室，人工智能實(shí)驗(yàn)室，CMU 的人機(jī)交互機(jī)構(gòu)，微軟研究遠(yuǎn)，英國劍橋大學(xué)的工程學(xué)院等。綜合有關(guān)文獻(xiàn)，目前的人臉識別方法主要集中在以下幾個(gè)方面: 基于幾何

32、特征的人臉識別，基于子空間的人臉識別，基于彈性圖匹配的人臉識別，基于神經(jīng)網(wǎng)絡(luò)方面的人臉識別，基于模板匹配方面的人臉識別方法，基于隱馬爾可夫方面的人臉識別方法以及基于貝葉斯網(wǎng)路的人臉識別算法。</p><p>　　國內(nèi)的研究者關(guān)于人臉自動識別的研究始于 20 世紀(jì)八十年代，主要的研究單位有南京理工大學(xué)、清華大學(xué)，哈爾濱工業(yè)大學(xué)，香港理工大學(xué)、中科院計(jì)算所，中科院自動化所，中科大等，并都取得了一定的成果。</p

33、><p><b>　　人臉識別的應(yīng)用</b></p><p>　　隨著人臉識別技術(shù)的發(fā)展以及人臉識別技術(shù)應(yīng)用范圍空間的不斷拓寬，人臉識別技術(shù)在各個(gè)領(lǐng)域上的應(yīng)用空間己經(jīng)越來越廣泛，歸納起來，人臉識別技術(shù)的應(yīng)用大體上可以分為以下幾類:</p><p><b>　　1.證件驗(yàn)證</b></p><p>　　在

34、許多場合，證件驗(yàn)證是檢驗(yàn)?zāi)硞€(gè)人身份的一種常用手段，而身份證、駕駛執(zhí)照以及其他很多證件上都有照片，那么這項(xiàng)工作就可以交給機(jī)器完成，用以實(shí)現(xiàn)自動化智能管理。</p><p><b>　　2.刑偵破案</b></p><p>　　公安部門通常在檔案系統(tǒng)中存儲有嫌疑犯的照片，可以從數(shù)據(jù)庫里迅速查找確認(rèn)，這就大大提高了刑偵破案的準(zhǔn)確性和效率。</p><p&

35、gt;<b>　　3.視頻監(jiān)視</b></p><p>　　在許多銀行、公司、公共場所等處都裝有視頻監(jiān)視系統(tǒng)。當(dāng)出現(xiàn)異常的時(shí)候需要對采集到的圖像進(jìn)行具體分析，就要用到人臉的檢測、跟蹤和識別技術(shù)。</p><p><b>　　4.入口控制</b></p><p>　　入口控制的范圍比較廣泛，它可能是設(shè)在需要的地方進(jìn)行安全檢查

36、，也可能是計(jì)算機(jī)系統(tǒng)或情報(bào)系統(tǒng)的入口控制。</p><p>　　5.另外，人臉識別在醫(yī)學(xué)、人機(jī)交互系統(tǒng)等方面也具有巨大的應(yīng)用前景。</p><p>　　以上所說的應(yīng)用基本又可以分為兩類:靜態(tài)(非視頻)匹配和動態(tài)(視頻)匹配。嫌疑犯查找是靜態(tài)匹配中的最常見的應(yīng)用。很顯然，在嫌疑犯照片的拍攝過程中，一般來說可以控制照相的背景、光照的條件、攝像機(jī)的分辨率以及攝像機(jī)與被拍照人之間的距離、角度等等，

37、獲得到多幅人臉正面圖像和側(cè)面圖像。在這些條件約束下來獲取圖像，可簡化人臉分割和識別算法。公眾場合監(jiān)控也就是典型的動態(tài)匹配應(yīng)用。通過攝像機(jī)得到的視頻圖像質(zhì)量一般都比較差，同時(shí)背景也比較雜亂，分割人臉也就相當(dāng)困難，但是可以利用運(yùn)動圖像分析來分割運(yùn)動者的人臉，也可以利用現(xiàn)有的人臉模型，在部分上重建人臉圖像，在某種程度上會比靜態(tài)匹配更方便容易解決。這方面應(yīng)用的難點(diǎn)是需要實(shí)時(shí)處理。</p><p><b>　　人

38、臉識別的研究內(nèi)容</b></p><p>　　人臉識別的研究內(nèi)容從廣義上來講大致上包括以下五個(gè)方面的內(nèi)容：</p><p>　　1．人臉檢測：要從各種不同的場景中檢測出人臉的存在并確定其位置。這一任務(wù)主要受到光照、噪聲、面部傾斜度以及各種各樣遮擋等方面的影響。</p><p>　　2．人臉表征：通過采取某種表示方式表示檢測出的人臉和數(shù)據(jù)庫中的已知人臉。&

39、lt;/p><p>　　通常的表示法主要有幾何特征(如歐氏距離、曲率、角度)、代數(shù)特征(如矩陣特征矢量)、固定特征模板、統(tǒng)計(jì)特征等。</p><p>　　3．人臉鑒別：通過將待識別的人臉與數(shù)據(jù)庫中的己知人臉比較，得出比對信息。此過程通常也被稱為人臉識別。</p><p>　　4．表情識別：通過對待識別人臉的表情或姿態(tài)信息進(jìn)行分析，并對其加以歸類。</p>

40、<p>　　5．生理分類：通過分析待識別人臉的生理特征，得出其年齡、性別等相關(guān)信息。圖像從來源上來說分類包括靜態(tài)圖像和動態(tài)圖像、單幀和多幀，以及受控背景和非受控背景等。同時(shí)人臉識別的技術(shù)難度，很大程度上就是取決于用于識別的圖像來源和質(zhì)量。一般來說，多幀、受控背景圖像的識別要比單幀、非受控背景圖像更容易得到一個(gè)比較好的識別結(jié)果。而進(jìn)入實(shí)際應(yīng)用的人臉識別系統(tǒng)如：銀行的 ATM 自動提款機(jī)，各種證件的檢驗(yàn)以及車場、倉庫的管理等都上屬

41、于受控背景的一類。所以確切的來講，人臉識別至少要包括兩個(gè)方面的任務(wù)：復(fù)雜背景下人臉的定位和分割，以及人臉的鑒別。</p><p>　　一個(gè)狹義的人臉自動識別系統(tǒng)通常包括三個(gè)主要技術(shù)環(huán)節(jié)，如圖 1.1 所示：</p><p>　　圖 1-1 人臉自動識別系統(tǒng)的主要技術(shù)環(huán)節(jié)</p><p>　　首先是人臉的檢測以及定位。即檢測圖像中有沒有人臉，并確定其在圖像中的位置。

42、普通證件照片上的頭部占據(jù)了照片中央的大部分地方，定位也較容易。但是在另一些情況下，人臉在圖像中的位置是事先未知的，因此檢測和定位存在一些困難。</p><p>　　然后是特征提取。特征提取之前一般需要進(jìn)行預(yù)處理。比如對圖像進(jìn)行去噪工作，對圖像進(jìn)行增等等。使得對后續(xù)的工作有利。然后利用有效手段，提取出有效特征。</p><p>　　最后一步就是決策分類。在人臉數(shù)據(jù)庫里預(yù)先存放了己知的人臉圖像

43、或有關(guān)的特征值，決策分類的目的就是將待識別的圖像或特征與庫中的進(jìn)行匹配。根據(jù)所輸入圖像的性質(zhì)，可將人臉識別分為靜態(tài)圖像的人臉識別和動態(tài)圖像序列的人臉識別兩大類。前者主要是用靜態(tài)圖像，同時(shí)對這些圖像進(jìn)行識別；后者則是用攝像機(jī)的時(shí)間圖像序列來進(jìn)行識別。</p><p><b>　　人臉識別存在的問題</b></p><p><b>　　1、人臉檢測與定位<

44、/b></p><p>　　人臉檢測是指在輸入圖像中確定是否存在著人臉，如果有的話則需要確定人臉的位置、大小、位姿的過程。人臉檢測作為人臉識別中的一項(xiàng)關(guān)鍵技術(shù)，近年來也成為模式識別與計(jì)算機(jī)視覺領(lǐng)域內(nèi)一項(xiàng)比較活躍的課題。同時(shí)由于人臉模式的多樣性和圖像獲取過程中的不確定性，比如人臉是一類具有相當(dāng)復(fù)雜的細(xì)節(jié)變化的自然結(jié)構(gòu)目標(biāo)，主要是：第一、人臉由于外貌、膚色、表情等方面不同，具有模式的可變性；第二、人臉可能存在眼

45、鏡、胡須等附屬物；第三、作為三維物體的人臉的影像不可避免地受由光照產(chǎn)生的陰影的影響。因此，就需要找到解決這些問題的方法，并且能使用高級手段對復(fù)雜背景下的圖像能檢測出人臉，并且進(jìn)行精確定位。</p><p><b>　　2、特征選擇與提取</b></p><p>　　數(shù)字圖像分析是圖像處理中的高級階段，它所研究的方面是使用及其分析和識別周圍物體的圖像，從而科得出結(jié)論性的

46、判斷。但是人類視覺系統(tǒng)可以認(rèn)識的圖像如何能讓計(jì)算機(jī)系統(tǒng)也能識別呢? 其中的關(guān)鍵就在于找到目標(biāo)的特征。人們必須尋找出算法，分析圖像的特征，然后將其特征用數(shù)學(xué)的辦法表示出來并且教會計(jì)算機(jī)也會懂得這些特征。這樣，計(jì)算機(jī)也就擁有了認(rèn)識或者識別圖像的本論了。要讓計(jì)算機(jī)具有識別的本領(lǐng)，首先要得到圖像的各種特征，即圖像特征提取。</p><p>　　圖像特征就是指圖像的原始特征或?qū)傩?。其中有些是說視覺直接感受到的自然特征，如區(qū)

47、域的亮度、邊緣的輪廓、圖像的紋理等，有些則是需要通過變換或測量才能都得到的人為特征。圖像特征提取工作的結(jié)果就給出了某一具體的圖像中與其他圖像相區(qū)別的特征。因此如何提取出有效的特征，如何對這些特征進(jìn)行融合就成為今后的一個(gè)研究問題。</p><p><b>　　3、人臉識別</b></p><p>　　在進(jìn)行人臉識別匹配時(shí)，不僅要考慮各種因素所導(dǎo)致的人臉微笑變形，而且在容

48、忍變形的時(shí)候，同時(shí)還不能損害到人臉識別的有效性。另外，實(shí)用的識別系統(tǒng)還必須要考慮計(jì)算復(fù)雜度。由于每種識別方法各有優(yōu)缺點(diǎn)，多種方法有效綜合將是以后研究的一個(gè)趨勢，如何融合其他生物特征的鑒別系統(tǒng)以提高識別效率也是熱點(diǎn)研究方向。</p><p>　　本文的研究內(nèi)容及組織結(jié)構(gòu)</p><p>　　本文首先從國內(nèi)外研究現(xiàn)狀和目前主要集中的算法兩方面對人臉識別進(jìn)行簡單介紹，接著對數(shù)據(jù)降維技術(shù)進(jìn)行了綜述

49、，特別是基于子空間的特征提取技術(shù)進(jìn)行了詳細(xì)闡述。在這個(gè)基礎(chǔ)上，學(xué)習(xí)和研究了兩種算法：即基于路徑相似度的判別保局算法以及基于核判別保局最大化邊界算法。具體章節(jié)安排如下：</p><p>　　第 1 章：首先介紹了論文的研究背景 、國內(nèi)外研究現(xiàn)狀和論文的章節(jié)安排。</p><p>　　第 2 章: 對目前存在的人臉識別技術(shù)進(jìn)行概述，主要從基于幾何特征的人臉識別，基于子空間的人臉識別，基于彈性圖

50、匹配的人臉識別，基于神經(jīng)網(wǎng)絡(luò)的人臉識別，基于模板匹配的人臉識別方法，基于隱馬爾可夫的人臉識別方法以及基于貝葉斯網(wǎng)路的人臉識別算法等方面出發(fā)。</p><p>　　第 3 章: 對數(shù)據(jù)降維技術(shù)和特征提取技術(shù)進(jìn)行了闡述，特別針對核化算法，做出了詳細(xì)的闡述。</p><p>　　第 4章: 學(xué)習(xí)和研究了基于核間距最大準(zhǔn)則算法，分別從算法的思想和實(shí)驗(yàn)結(jié)果來進(jìn)行說明。</p><

51、p><b>　　人臉識別概述</b></p><p>　　計(jì)算機(jī)人臉識別的目的就是利用計(jì)算機(jī)來分析人臉圖像，從中提取出來有效的識別信息，用來辨別身份，因此特征提取是人臉識別中的關(guān)鍵。目前，人臉識別主要有以下幾類：基于幾何特征的方法、基于彈性圖方面匹配的方法、基于神經(jīng)網(wǎng)絡(luò)的方法、基于模板匹配的方法、基于隱馬爾可夫方法、基于貝葉斯方法和基于子空間的方法。</p><p&

52、gt;　　基于幾何特征的人臉識別</p><p>　　這類識別方法首先是將人臉用一個(gè)幾何特征矢量來表示，然后再用模式識別中的層次聚類思想設(shè)計(jì)分類器對人臉進(jìn)行識別。在這種基于幾何特征的識別中，識別算法總體歸為特征矢量之間的匹配問題，基于在歐氏距離的判決方法是最常用的識別方法。</p><p>　　Brunelli 等利用改進(jìn)的積分投影法提取出用歐氏距離表示的 35 維人臉特征矢量來進(jìn)行人臉識

53、別。Roeder 等對基于幾何特征人臉識別方法的準(zhǔn)確性和正確性進(jìn)行了研究，對人臉特征定義了 12 個(gè)測量值來進(jìn)行聚類分析。Kass 等和 Olstad 等提出采用活動輪廓模型來提取人臉眉毛和下巴的輪廓用于人臉識別。Yuile和 Jain 等利用可變形模板模型來提取眼睛和嘴巴的輪廓進(jìn)行人臉識別。</p><p>　　基于彈性圖匹配的人臉識別</p><p>　　彈性圖匹配(Elastic G

54、raph Matching，EGM)的理論基礎(chǔ)是圖匹配理論。用圖來描述人臉，圖的頂點(diǎn)表示人臉的局部特征，邊則表示面部特征之間的拓?fù)滏溄雨P(guān)系。匹配測度同時(shí)考慮頂點(diǎn)和邊之間的距離度量。它是一種以識別目標(biāo)的局部特征點(diǎn)之間拓?fù)浣Y(jié)構(gòu)為對象的局部特征匹配方法。</p><p>　　Buhmann，Lades等針對畸變不變性的物體識別提出了動態(tài)連接結(jié)構(gòu)模型(Dynamic Link Architecture，DLA)，將物體的

55、圖像用稀疏網(wǎng)格來表達(dá)，通過局部能量譜的多分辨率描述來標(biāo)注圖形上的一些節(jié)點(diǎn)，用幾何距離向量來標(biāo)注連線。目標(biāo)識別就是測試樣本與訓(xùn)練樣本的彈性匹配的過程，也就是通過匹配代價(jià)函數(shù)的隨機(jī)優(yōu)化過程來完成。Wiksott 等將人臉特征上的一些特征點(diǎn)作為基準(zhǔn)點(diǎn)，強(qiáng)調(diào)了人臉特征點(diǎn)的重要性，這個(gè)結(jié)構(gòu)稱為彈性圖。他們采用每個(gè)基準(zhǔn)點(diǎn)存儲一串具有代表性的特征矢量，大大減少了系統(tǒng)的存儲量和計(jì)算量。Wurtz 等人只是使用正面人臉面部的特征，進(jìn)一步來消除結(jié)構(gòu)中的冗余

56、信息和背景信息，同時(shí)使用一個(gè)多層的分級結(jié)構(gòu)來實(shí)現(xiàn)。Gurdin 等人也采用分級結(jié)構(gòu)的彈性圖，通過用消減一些冗余節(jié)點(diǎn)從而形成稀疏的人臉描述結(jié)構(gòu)。另一種方法就是 Nastar 等所提出的要將人臉圖像表示為可變形的 3D 網(wǎng)格表面，將人臉匹配問題轉(zhuǎn)換成為曲面匹配問題，利用有限元分析的方法來進(jìn)行曲面變形，并且根據(jù)兩幅圖像之間變形匹配的程度識別人臉。</p><p>　　基于神經(jīng)網(wǎng)絡(luò)的人臉識別</p><

57、;p>　　基于神經(jīng)網(wǎng)絡(luò)的人臉識別方法就是利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力和分類能力對人臉執(zhí)行特征提取、分類與識別。神經(jīng)網(wǎng)絡(luò)在人臉識別中存在一定的優(yōu)勢，因?yàn)閷θ四樧R別的許多規(guī)律或規(guī)則進(jìn)行描述是比較困難的，而神經(jīng)網(wǎng)絡(luò)方法則可以通過反復(fù)學(xué)習(xí)的過程對這些規(guī)則進(jìn)行表達(dá)，它的使用性比較強(qiáng)，而且也比較容易實(shí)現(xiàn)。</p><p>　　最早將人工神經(jīng)網(wǎng)絡(luò)技術(shù)用于人臉識別的是 Kohenen。 Cottrell 和 Fleming提出了

58、一個(gè)解決方案，采用兩個(gè)神經(jīng)網(wǎng)絡(luò)，第一個(gè)神經(jīng)網(wǎng)絡(luò)用來降維處理，第二個(gè)用來分類和判別。然而這種網(wǎng)絡(luò)的識別效果并不是很理想。Lawrence等人提出采用卷積神經(jīng)網(wǎng)絡(luò)方法進(jìn)行人臉識別，因?yàn)樵摲椒ㄔ谝欢ǔ潭壬暇哂袑D像平移、旋轉(zhuǎn)和局部變形的不變性，因此就可以得到比較好的識別性能和結(jié)果。Lin等人提出了基于概率決策機(jī)制的人工神經(jīng)網(wǎng)絡(luò)方法，并應(yīng)用于人臉檢測、眼睛定位以及人臉識別。從而得到較為理想的概率估計(jì)結(jié)果，并采用模塊化的網(wǎng)絡(luò)結(jié)構(gòu)來加快網(wǎng)絡(luò)的學(xué)習(xí)。

59、Joo等人提出了一種多步驟方法，首先通過主成分分析 (PCA)方法進(jìn)行降維，然后采用 RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行分類識別。</p><p><b>　　基于模板匹配的方法</b></p><p>　　Brunelli 采用了模板匹配的方法，實(shí)驗(yàn)結(jié)果表明在尺度、光照、旋轉(zhuǎn)角度等各種條件穩(wěn)定的情況下，模板匹配的效果優(yōu)于其它方法，但是由于它對光照、旋轉(zhuǎn)和表情變化比較敏感，這在一定程

60、度上也就影響了它的性能和直接使用。</p><p>　　可以將人臉分為眼睛模板、嘴巴模板、鼻子模板以及眉毛、下巴模板等。傳統(tǒng)的邊緣描述算法通常很難獲得可靠度較高的連續(xù)邊緣，即便獲得了可靠度較高的邊緣，也很難從中自動提出所需要的特征量。如果用彈性模板方法提取特征可以顯示出其獨(dú)到的優(yōu)越性。彈性模板由一組根據(jù)一些先驗(yàn)知識調(diào)整了一些參數(shù)。</p><p>　　Poggio 等人對基于幾何特征的人臉

61、識別方法和基于模板匹配的人臉識別方法進(jìn)行了比較，并從實(shí)驗(yàn)結(jié)果得到：基于幾何特征的人臉識別方法在識別速度上比較快，存儲空間也比較小，但是在識別率并不高。</p><p><b>　　基于隱馬爾可夫方法</b></p><p>　　數(shù)學(xué)上，關(guān)于隱馬爾科夫模型（Hidden Markov Model,HMM）的研究開始于二十世紀(jì)六十年代末和七十年代初， 80 年代以后，得益

62、于面向工程界的介紹性文章的發(fā)表，HMM 才能被更多的人理解并掌握，同時(shí)在語音識別以及印刷體識別等模式識別方面方</p><p>　　面得到了更加廣泛的應(yīng)用。</p><p>　　按照 HMM 的思想，用來表征人臉的特征量構(gòu)成了一個(gè)觀測序列，觀測序列被認(rèn)為是由若干個(gè)狀態(tài)產(chǎn)生的，狀態(tài)處于隱層，是不可觀測的。算法采用了具有 5 個(gè)狀態(tài)的左右型 HMM 模型。HMM 的訓(xùn)練就是要為每一個(gè)人確定出一

63、組經(jīng)過優(yōu)化了的 HMM 參數(shù)和模型。將單幅或多幅圖像進(jìn)行訓(xùn)練。</p><p>　　基于貝葉斯網(wǎng)絡(luò)的人臉識別</p><p>　　Moghaddam 等建立了一套完整的人臉統(tǒng)計(jì)模型，即建立出了兩種概率模型：在第一種模型中，所用的人臉圖像是在以特征臉為基的空間(為方便起見，簡稱為人臉空間)中的概率由一個(gè)高維高斯分布估計(jì)，而該人臉空間的補(bǔ)空間中說的概率也由一個(gè)高維高斯分布估計(jì)，最終的概率是由以

64、上兩個(gè)概率密度函數(shù)的乘積來確定。由于估計(jì)人臉補(bǔ)空間中的參數(shù)是比較困難的，同時(shí)為了讓計(jì)算簡便，他們就假設(shè)在該補(bǔ)空間中各個(gè)方向上的能量分布都是均勻的，同時(shí)給出了一個(gè)簡單的概率計(jì)算公式，并求得了公式中參數(shù)的最優(yōu)理論解。但是這個(gè)模型是假設(shè)了人臉圖像的分布都是簡單的單峰的分布。由于人臉圖像和非人臉圖像之間的差異比較大，這個(gè)假設(shè)在人臉檢測時(shí)就可以成功應(yīng)用，但是在人臉識別中，由于人臉具有著多樣性，就存在了問題。在第二種模型中 ， 他 們 使 用 一

65、個(gè) 混 合 高 斯 分 布 模 型 (Mixture-of-Gaussians) ， 并 使 用EM(Expectation Maximazation)算法用來進(jìn)行參數(shù)估計(jì)，并取得了一定的效果。</p><p>　　Moghaddam 等提出了貝葉斯人臉識別方法，提出了一種基于概率的圖像相似度的度量方法，他們將人臉圖像之間的差異分成兩類：類間差異(就是不同人的人臉圖像之間的差異)和類內(nèi)差異(就是同一個(gè)人的不同人臉

66、圖像之間的差異)。由于貝葉斯相似度的計(jì)算涉及到了復(fù)雜的非線性計(jì)算，Moghaddam 等人又提出了一種線性的快速計(jì)算方法。這種人臉識別方法目前在美國 DAPAR 組織的 FERET 人臉測試中的效果是最好的。目前貝葉斯算法的主要問題存在于類間差異的訓(xùn)練圖像較難選取和識別算法的效率不是很高，這在使用大型人臉圖像庫的時(shí)候就尤為突出。</p><p>　　基于核方法的人臉識別</p><p>　

67、　20世紀(jì)80年代，模式分析領(lǐng)域幾乎同時(shí)引入了后向傳播多層神經(jīng)網(wǎng)絡(luò)算法和決策樹學(xué)習(xí)算法，第一次使得檢測非線性模式成為可能。然而這些非線性算法是建立在梯度下降法或貪心啟發(fā)式法的基礎(chǔ)上的，受到局部極小化的限制；又由于沒有很好地理解它們在統(tǒng)計(jì)上的行為，人們在利用這些算法時(shí)還經(jīng)常會遇到過度擬合的問題，這些不足都限制了上述非線性算法的發(fā)展。</p><p>　　20世紀(jì)90年代中期，隨著支持向量機(jī)[Vapnik 1995]

68、的提出，出現(xiàn)了一種新的被稱為基于核的非線性模式分析方法，簡稱為核方法。核方法通過非線性嵌入映射，能將許多線性算法優(yōu)美地非線性泛化，從而能夠高效地分析圖像空間中的非線性關(guān)系，而這種高效率原先只有線性算法才能夠達(dá)到。正因?yàn)槿绱耍朔椒ǔ１徽J(rèn)為是一種非線性技巧，稱為“核技巧”。</p><p>　　人臉識別作為模式識別的一個(gè)研究方向,因其在安全驗(yàn)證系統(tǒng)、智能人機(jī)接口、視頻會議等方面有著巨大的應(yīng)用前景成為當(dāng)前的一個(gè)研究熱

69、點(diǎn)。Turk等人提出了經(jīng)典的特征</p><p>　　臉,利用主元分析(PCA)進(jìn)行人臉特征提取,并取得了較好的效果。但是,PCA法只考慮了圖像數(shù)據(jù)中的二階統(tǒng)計(jì)信息,未能利用數(shù)據(jù)中的高階統(tǒng)計(jì)信息,忽略了多個(gè)像素間的非線性相關(guān)性。研究表明,一幅圖像的高階統(tǒng)計(jì)往往包含了圖像邊緣或曲線的多個(gè)像素間的非線性關(guān)系。</p><p>　　實(shí)際上，人臉圖像中的表情、光照、姿態(tài)和阻擋物的變化都是及其復(fù)雜而

70、且是非</p><p>　　線性的。線性子空間方法實(shí)際上就是將這些非線性的變化進(jìn)行了線性簡化。隨著非線</p><p>　　性的核方法技術(shù)在支持向量機(jī)(Support Vector Machine, SVM)上的廣泛和成功的應(yīng)用，非線性子空間方法便受到廣泛關(guān)注。核方法的最主要思想就是利用一個(gè)非線性映射，把原來空間的數(shù)據(jù)映射到了一個(gè)隱性高維特征空間，然后在這個(gè)隱性高維特征空間中對數(shù)據(jù)進(jìn)行全面

71、分析。在計(jì)算上并不需要明確計(jì)算此非線性變換，只需要通過一個(gè)內(nèi)積核函數(shù)用來計(jì)算在隱性特征空間中兩兩向量之間的內(nèi)積即可以了。目前己經(jīng)是成功應(yīng)用于人臉識別領(lǐng)域方面的有核主成分分析(KPCA)、核線性判別分析(KLDA)等方法。Yang等人將 KPCA 和 Eigenface、ICA 進(jìn)行了比較，結(jié)果表明 KPCA 算法能更有地效描述人臉的復(fù)雜變化，具有一定的優(yōu)越性。</p><p>　　在人臉圖像識別領(lǐng)域存在著大量的典

72、型的小樣本問題，在該類問題中，類內(nèi)散布矩陣通常是奇異的。這是因?yàn)榇R別圖像矢量的維數(shù)較高，而在實(shí)際問題中難以找到或根本不可能找到足夠多的訓(xùn)練樣本來保證類內(nèi)散布矩陣的可逆性。為了避免模式識別中的小樣本問題，Li 等人提出了一種基于最大間距準(zhǔn)則(maximum margin criterion, MMC)的特征抽取方法，并且用核方法拓廣到非線性情形。</p><p>　　本文主要采用KPCA來提取人臉圖像的特征，然后

73、基于這些特征通過利用MMC方法來實(shí)現(xiàn)人臉的識別，并且取得了很好地效果。</p><p><b>　　本章小結(jié)</b></p><p>　　本章對人臉識別技術(shù)作了簡單的概述，分別從基于幾何特征的方法、基于彈性圖匹配的方法、基于神經(jīng)網(wǎng)絡(luò)的方法和基于子空間的方法四大類進(jìn)行了介紹，由于子空間算法的一些優(yōu)點(diǎn)，特別對基于核方法的人臉識別技術(shù)進(jìn)行詳細(xì)說明。</p>&

74、lt;p><b>　　數(shù)據(jù)降維算法概述</b></p><p>　　在當(dāng)今世界上，人們越來越多的接觸到高維數(shù)據(jù)，這些數(shù)據(jù)的特點(diǎn)是：高數(shù)據(jù)量、高維數(shù)、高數(shù)據(jù)增長率和非結(jié)構(gòu)化。一方面它們能為人們提供出更完整的信息，另一方面它們會導(dǎo)致維數(shù)災(zāi)難問題，即所處理的樣本數(shù)要隨著維數(shù)的增加呈指數(shù)方式增長，這就給人們進(jìn)行數(shù)據(jù)處理帶來了很大困難，因此需要對原始數(shù)據(jù)進(jìn)行降維，提取有效特征。</p>

75、;<p>　　降維就是將高維數(shù)據(jù)根據(jù)一定的目標(biāo)和準(zhǔn)則尋找一個(gè)變換：</p><p><b>　　(3-1)</b></p><p>　　把原始數(shù)據(jù) X 變換為低維子空間中的點(diǎn)y,其中 d<<D?？梢詮牟煌嵌葘⒔稻S算法分類：有監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)，線性和非線性算法，全局和局部算法。</p><p>　　非監(jiān)督學(xué)習(xí)輸入的

76、只有數(shù)據(jù)，通過特定的準(zhǔn)則來實(shí)現(xiàn)數(shù)據(jù)降維，比如主成分分析 PCA 以最小化重建誤差為準(zhǔn)則。而在有監(jiān)督學(xué)習(xí)中，輸入數(shù)據(jù)之外，還有一個(gè)類別信息，在降維時(shí)，利用提供出的類別信息，使得同類的樣本聚類地更加接近，而不同類的樣本分得越開， 如線性判別分析 LDA。</p><p>　　線性方法，指的是變換 f 是線性的，它假設(shè)數(shù)據(jù)分布在一個(gè)線性子空間中，通過訓(xùn)練可以得到該子空間的一組基向量，從而將數(shù)據(jù)投影到了低維子空間中。但是

77、在實(shí)際應(yīng)用中遇到的往往又是高維非線性對象，比如人臉，因此尋找有效的非線性方法成了迫切的問題，非線性方法的最大特點(diǎn)就是沒有顯式的降維變換。</p><p>　　全局算法，指的是算法的考慮點(diǎn)要從全局出發(fā)，比如 PCA 和 LDA，它們所考慮的是所有數(shù)據(jù)點(diǎn)之間的關(guān)系。而局部算法只考慮某一領(lǐng)域內(nèi)數(shù)據(jù)之間的關(guān)系，具體可以通過 K 近鄰KNN 和ε 半圓法，大多數(shù)的流形算法都是局部算法，比如等度映射和局</p>

78、<p>　　部線性嵌入算法。本章主要對目前所存在的降維技術(shù)進(jìn)行簡單介紹。</p><p><b>　　線性降維算法</b></p><p>　　線性降維方法就是尋找高維數(shù)據(jù)中的線性變換，具有計(jì)算簡單，易理解，處理線性結(jié)構(gòu)的數(shù)據(jù)時(shí)非常有效。</p><p><b>　　主成分分析</b></p>&

79、lt;p>　　在信號處理中，所謂的 K-L 變換實(shí)際上說就是 PCA。PCA 的基本思想就是：將數(shù)量眾多的原始上的相關(guān)變量轉(zhuǎn)換為數(shù)量較少的不相關(guān)變量。通常的做法就是將原始變量進(jìn)行線性組合使之成為若干綜合變量，同時(shí)這些綜合變量之間相互獨(dú)立，并且盡可能表示出原始變量包含的信息，選取其中最大的幾個(gè)主成分進(jìn)行分析。這樣就可以在盡可能少損失原有信息數(shù)據(jù)的基礎(chǔ)之上，降低數(shù)據(jù)的維度，提高運(yùn)算的效率。</p><p>　　

80、考 慮 數(shù) 據(jù) 空 間 中 的 樣 本 ，均值，協(xié) 方 差 矩 陣 為，，通過特征值分解為，其中U是正交矩陣；是由∑的特征值構(gòu)成的對角陣，。主成分變換為：</p><p><b>　　(3-2)</b></p><p>　　得到了一個(gè)新的數(shù)據(jù)集，它的均值為 0，協(xié)方差矩陣即為對角陣Λ這樣就直接去除掉了原來變量間的相關(guān)性。丟掉那些方差較小的分量，就是要將原數(shù)據(jù)投影到由前

81、d 個(gè)最大的主成分張成的線性子空間上，從而來降低數(shù)據(jù)的維數(shù)。即</p><p><b>　　(3-3)</b></p><p>　　其中是矩陣U中對應(yīng)于Λ里最大d個(gè)特征值的特征向量，為低維空間中的數(shù)據(jù)表達(dá)。</p><p>　　基于在特征值分解的 PCA 的另外一個(gè)性質(zhì)就是數(shù)據(jù)總體方差等于協(xié)方差矩陣特征值的總和，即</p><

82、;p><b>　　(3-4)</b></p><p><b>　　(3-5)</b></p><p>　　其中在（3-5）給出了前d 個(gè)主成分中所包含的方差占據(jù)原始數(shù)據(jù)中所有方差總和的比例，通過繪制式（3-5）中計(jì)算的累計(jì)比例，就可以選擇適當(dāng)數(shù)目的主成分來保留出一定原始數(shù)據(jù)的總體方差信息數(shù)據(jù)。</p><p><

83、;b>　　線性判別分析</b></p><p>　　PCA 就是無監(jiān)督的降維方法，所尋求的是在線性重構(gòu)誤差最小意義下計(jì)算的最優(yōu)子空間。對于分類問題方面，我們希望找到某個(gè)投影方向，使得不同類的數(shù)據(jù)樣本能夠盡量分開,即 LDA。</p><p>　　分類問題可描述為：給定分別屬于 J 類的n個(gè)數(shù)據(jù)樣本，表示第 j 類元素構(gòu)成的集合，表示屬于 j 類的元素的個(gè)數(shù)，用表示第j 類

84、的均值，μ 表示整體樣本的均值。</p><p>　　對于二類問題，希望投影后得到的能夠使得如下最大：</p><p><b>　　(3-6)</b></p><p>　　其中別是正、負(fù)類樣本在投影方向的均值，和就是正負(fù)類樣本在投影方向上的方差。同時(shí)可將其推廣到多類問題上，此時(shí)希望找到的優(yōu)化投影方向就是使得在低維空間中同類數(shù)據(jù)能夠盡量靠近，不同

85、的類數(shù)據(jù)要能夠盡量分離，從而保留下豐富的辨別信息，使投影后的數(shù)據(jù)能夠具有最大的可分性。</p><p>　　此時(shí)，F(xiàn)isher 準(zhǔn)則可修正為：</p><p><b>　　(3-7)</b></p><p><b>　　其中，</b></p><p><b>　　(3-8)</b&g

86、t;</p><p><b>　　(3-9)</b></p><p>　　這里就是對應(yīng)于矩陣的前d 個(gè)最大特征值的特征向量，求解出下面的特征值問題就可以求出最優(yōu)投影方向：</p><p><b>　　(3-10)</b></p><p>　　求出特征向量之后，測試樣本在這些特征向量上的投影系數(shù)也就是

87、對測試樣本所提取出的特征向量，即低維嵌入坐標(biāo)。LDA 算法也就是求出一個(gè)線性子空間，使得所有樣本在這個(gè)子空間中，類內(nèi)樣本散度能夠最小，類間樣本的散度能夠最大，因此 LDA 降維后得到的低維嵌入坐標(biāo)非常有利于進(jìn)行樣本的分類。</p><p><b>　　非線性降維算法</b></p><p>　　現(xiàn)實(shí)生活中，人們遇到的數(shù)據(jù)往往是非線性的，因此如何能有效處理非線性數(shù)據(jù)給人

88、們帶來了巨大的挑戰(zhàn)，本節(jié)對一些著名的非線性降維算法進(jìn)行介紹。</p><p><b>　　等度映射</b></p><p>　　Tenenbaum 和 Silva 于 2000 年提出了等距映射(ISOMAP)算法。算法是建立在了經(jīng)典的 MDS 算法基礎(chǔ)上，其目標(biāo)就是使降維后的數(shù)據(jù)能夠盡量保持在降維前的數(shù)據(jù)間的距離關(guān)系，如圖 3-1 所示。</p>&l

89、t;p>　　圖 3-1 歐式距離（虛線），測地線距離和最短路徑距離比較</p><p>　　算法分成以下兩種情況來處理：</p><p>　　(l)當(dāng)兩個(gè)樣本點(diǎn)之間離得很近(k 近鄰或?yàn)棣?鄰域)時(shí)，直接用它們的歐氏距離近</p><p><b>　　似測地距離。</b></p><p>　　(2)當(dāng)兩個(gè)樣本點(diǎn)之

90、間離得比較遠(yuǎn)時(shí)，用它們在由樣本點(diǎn)形成的近鄰圖上的最短路徑來逼近測地距離。經(jīng)過數(shù)學(xué)的推導(dǎo)，算法將低維嵌入坐標(biāo)的求解轉(zhuǎn)化成為矩陣的特征值方面的問題。</p><p>　　ISOMAP 算法的步驟如下：</p><p>　　Step1：建立出加權(quán)鄰接圖G 。主要有以下兩種方法確定鄰接圖的邊，ε鄰域和k近鄰，并且用以數(shù)據(jù)點(diǎn)間的歐氏距離作為邊上的權(quán)重。</p><p>　　S

91、tep2：同時(shí)利用圖論中的 Dijkstra 算法或 Floyd 算法計(jì)算出圖G 中每兩點(diǎn)間的最短的路徑，記下得到的距離矩陣為。</p><p>　　Step3：然后用 MDS 求低維嵌入坐標(biāo)，記</p><p><b>　　(3-11)</b></p><p>　　則所求出的d 維嵌入坐標(biāo)由的最大的d個(gè)特征值所一一對應(yīng)的特征向量就給出了。&l

92、t;/p><p>　　ISOMAP 算法的一個(gè)優(yōu)點(diǎn)就是對于單一流形結(jié)構(gòu)來說，與傳統(tǒng) MDS 一樣，可以使用距離來保持的程度用來判斷數(shù)據(jù)的內(nèi)在維數(shù)。在發(fā)現(xiàn)人臉數(shù)據(jù)集和手勢數(shù)據(jù)集的內(nèi)在維數(shù)方面上，ISOMAP 算法均取得了一定的成果。</p><p><b>　　局部線性嵌入</b></p><p>　　2000 年 Roweis 在 Science

93、上提出了 LLE 算法，算法就是假定數(shù)據(jù)集所在的低維流形和從低維流形到高維觀測空間之間的光滑嵌入映射在局部都是線性的。從而使得低維流形在觀測空間中的像在局部也就是線性的，觀測空間中的每個(gè)數(shù)據(jù)點(diǎn)都是可以用它的近鄰點(diǎn)來進(jìn)行線性表示，而且也具有與在低維流形上的原像點(diǎn)相同的線性結(jié)構(gòu)，即低維流形上的每個(gè)點(diǎn)都可以用其近鄰點(diǎn)線性表示的權(quán)重與它們在高維空間中的線性表示權(quán)重相同。</p><p>　　但是在低維流形和光滑嵌入映射的

94、局部線性性質(zhì)都只是一種假設(shè)，在大部分情況下都不能夠嚴(yán)格成立。另外加上數(shù)據(jù)中的噪音等，這種線性一般情況下都會有誤差。在 LLE 算法中，也正是通過這樣最小化線性重構(gòu)誤差首先確定每個(gè)采樣點(diǎn)由近鄰重構(gòu)時(shí)的權(quán)重信息，然后通過在低維流形上保持對應(yīng)點(diǎn)的權(quán)重不變，再次通過最小化在低維流形上的重構(gòu)誤差用來求出來它們在低維流形上的總體嵌入坐標(biāo)。</p><p><b>　　拉普拉斯映射</b></p&g

95、t;<p>　　2003 年 Belkin 提出了拉普拉斯特征映射算法。與 LLE 算法類似，該算法是假設(shè)在高維空間中離得很近的點(diǎn)投影到低維空間中的象也應(yīng)該離得很近，因此算法的求解就轉(zhuǎn)化為求解圖拉普拉斯算子的廣義特征值問題。</p><p>　　拉普拉斯算子定義成為流形切空間上梯度向量之間的負(fù)散度函數(shù)，流形的最優(yōu)嵌套同時(shí)可通過求拉普拉斯算子的特征函數(shù)來實(shí)現(xiàn)。算法實(shí)現(xiàn)中，流形結(jié)構(gòu)的描述由相鄰圖來近似。

96、</p><p>　　對于D維空間中所說的k 個(gè)點(diǎn)所構(gòu)成的高維數(shù)據(jù)集，要想將其嵌入到d 維空間中去，得到d 維空間中的k 個(gè)點(diǎn)。算法共分三步，描述如下：</p><p>　　Step1：構(gòu)造出鄰域圖。如果說點(diǎn)i和點(diǎn) j 是鄰域點(diǎn)則要將兩點(diǎn)連接，那么有兩種</p><p>　　方法(ε 鄰域和k 近鄰法)來尋找一個(gè)點(diǎn)的鄰域點(diǎn)。</p><p>

97、　　Step2：構(gòu)造出權(quán)值矩陣。仍然有兩種方法可以構(gòu)造權(quán)值矩陣：</p><p>　　熱核法。該方法是在受到熱核理論的啟發(fā)而得出的，如果說點(diǎn)i和點(diǎn) j 是鄰域點(diǎn)，則兩點(diǎn)間的權(quán)值設(shè)為：</p><p><b>　　(3-12)</b></p><p>　　(2)簡單權(quán)值法。如果說點(diǎn)i和點(diǎn) j 是鄰域點(diǎn)，則兩點(diǎn)間的權(quán)值設(shè)為 1，否則設(shè)為 0。<

98、;/p><p>　　Step3：計(jì)算出d維嵌入。由第二步所求得的權(quán)值矩陣 是一個(gè)D×D維的矩陣，對于該矩陣所求特征值并且把求得的特征值升序排列。然后通過求出這些特征值對應(yīng)的特征向量，再取這些特征向量的前d 個(gè)分量作為嵌入低維空間上的流形映射。</p><p>　　基于核技巧的非線性降維算法</p><p>　　借助于支持向量機(jī)理論，研究者們提出了通過核技巧，先

99、將數(shù)據(jù)映射到了高維非線性數(shù)據(jù)，然后在該空間中進(jìn)行線性降維，具有代表性的算法是 KPCA 和 KLDA。</p><p>　　核主成分析就是說利用積分算子核函數(shù)的特性來進(jìn)行分析觀測空間數(shù)據(jù)集的結(jié)構(gòu)。還要研究數(shù)據(jù)集在特征空間的性質(zhì)，一般都需要構(gòu)造映射函數(shù)。核函數(shù)的優(yōu)點(diǎn)是，可以讓數(shù)據(jù)集在其特征空間的度量性質(zhì)在原來的空間中實(shí)現(xiàn)，同時(shí)又無需要顯式描述特征空間同時(shí)給出明確映射函數(shù)。由此，我們就可以利用核函數(shù)構(gòu)造數(shù)據(jù)集在其特征

100、空間的協(xié)方差矩陣，并求取出在映射空間的結(jié)構(gòu)。</p><p>　　從具體操作過程來看，核方法首先是采用了非線性映射將原始數(shù)據(jù)由數(shù)據(jù)空間映射到高維特征空間，然后再在特征空間中進(jìn)行了相應(yīng)的線性操作。由于其運(yùn)用了非線性映射，且這種非線性映射通常非常復(fù)雜，從而大大增強(qiáng)了非線性數(shù)據(jù)處理能力。</p><p>　　另外由于核的采用和對樣本的依賴性，KPCA 還可以研究數(shù)據(jù)集的高階相關(guān)性。從</p

101、><p>　　某種意義來看，這也使得我們有可能在數(shù)據(jù)集的觀測空間維數(shù)較低意義下，能夠獲得較高維淹沒子流形的特征分析。</p><p>　　主要的算法步驟為：首先通過一個(gè)非線性映射函數(shù)，將原來空間中每一個(gè)向量 x映射到了一個(gè)高維的特征空間F 中(特征空間的維數(shù)可以是無窮大)，在特征空間之中，向量，然后再在高維特征空間F 中進(jìn)行線性 PCA，而相對于原來空間來說，就是進(jìn)行非線性的 PCA。<

102、/p><p>　　核線性判別分析的思想同 KPCA，楊健等人已證明它是等同于在 KPCA 之后運(yùn)再用LDA。主要的算法步驟為：首先是通過一個(gè)非線性映射函數(shù)，將原空間中每一個(gè)向量 x映射到了一個(gè)高維特征空間F 中(特征空間的維數(shù)可以是無窮大)，在特征空間中，向量，然后再在高維特征空間F 中進(jìn)行線性 LDA，而相對于原空間而言，就是進(jìn)行非線性的 LDA。</p><p>　　流行學(xué)習(xí)算法的幾個(gè)線性

103、化算法</p><p>　　上節(jié)中介紹的等度映射、局部線性嵌入和拉普拉斯映射在將數(shù)據(jù)可視化時(shí)，表現(xiàn)出了很多優(yōu)點(diǎn)。但是在處理模式分類等問題時(shí)，由于算法只考慮訓(xùn)練樣本，沒有考慮測試樣本，因此會遇到樣本外問題（out of sample problem），即不能處理測試樣本中的新數(shù)據(jù)。為了解決這一問題，HE 等人提出了 LPP（locality preservingprojection）保局算法和 NPE（neighb

104、orhood preserving embedding）領(lǐng)域保持嵌入，其中 LPP 就是拉普拉斯映射的線性化版本，NPE 是局部線性嵌入的線性化版本。本節(jié)主要對 LPP 算法進(jìn)行詳細(xì)介紹，也為以后所提算法奠定了基礎(chǔ)。</p><p>　　LPP是一種新的子空間分析方法，它是非線性方法LE的線性近似。局部保局投影(LPP)通過一定的性能目標(biāo)來尋找線性變換W ，以實(shí)現(xiàn)對高維數(shù)據(jù)的降維：。</p><

105、;p>　　已知存在l個(gè)訓(xùn)練樣本,令為的 k 個(gè)近鄰點(diǎn)。變換矩陣W就可以通過最小化如下目標(biāo)函數(shù)來得到：</p><p><b>　　(3-13)</b></p><p>　　其中S 是權(quán)值矩陣可采用k 近鄰方法來確定。</p><p><b>　　(3-14)</b></p><p>　　其中t

106、是一個(gè)大于0的常量。對式(3-13)進(jìn)行代數(shù)變換，如下：</p><p><b>　　(3-15)</b></p><p>　　是拉普拉斯矩陣，則上式就可轉(zhuǎn)化為特征求解問題</p><p><b>　　(3-16)</b></p><p>　　由于基于子空間的 LPP 算法具有描述性強(qiáng)、計(jì)算代價(jià)小、

107、易實(shí)現(xiàn)及可分性好等特點(diǎn)，成為計(jì)算機(jī)視覺、模式識別等領(lǐng)域的研究熱點(diǎn)。由于算法本身并沒有考慮樣本類</p><p>　　別信息，鑒于此許多學(xué)者通過增加樣本類別信息、正交化基向量以及加入核函數(shù)來改進(jìn) LPP 算法。</p><p><b>　　本章小結(jié)</b></p><p>　　本章對目前較著名的一些降維算法進(jìn)行了簡單介紹，從線性算法和非線性算法兩

108、方面出發(fā)，介紹了主成分分析、線性判別分析、等度映射、局部線性嵌入、拉普拉斯映射、核方法和局部保持算法。根據(jù)相關(guān)的文獻(xiàn)，核方法具有很多優(yōu)點(diǎn)，接下去的一章針對 KPCA、MMC，學(xué)習(xí)和研究了改進(jìn)算法KMMC。</p><p>　　基于核方法的最大間距準(zhǔn)則算法</p><p>　　在眾多算法中，線性判別分析LDA、主成分分析PCA在實(shí)際應(yīng)用中經(jīng)常會遇到小樣本問題，為了解決這一問題，研究者提出了很

109、多改進(jìn)算法，其中較著名的有MMC(Maximum Margin Criterion)算法，但是同 LDA一樣，它是全局算法，沒有考慮局部信息，但是相關(guān)研究者指出局部信息在某些情況下起著非常重要的作用，比如在用最近鄰分類器時(shí)。為了解決這些問題，本章學(xué)習(xí)和研究基于核方法的最大間距準(zhǔn)則算法。</p><p><b>　　引言</b></p><p>　　在第 3

110、章中，已經(jīng)詳細(xì)介紹了主成分分析、線性判別分析和保局算法等主要的</p><p>　　數(shù)據(jù)降維算法，其中主成分分析通過最大化n維樣本的總體散布獲得由總體散布矩陣的前l(fā)(l <<n)個(gè)最大特征值對應(yīng)的主元特征向量張成的低維線性子空間，保局算法通過保持投影前后樣本的相鄰關(guān)系獲得從n維圖像空間到l維特征空間的變換矩陣。這兩種方法最終都?xì)w結(jié)為求解廣義特征值問題，但是它們都是非監(jiān)督學(xué)習(xí)，因此不利于模式分類。<

111、;/p><p>　　線性判別分析是以分類為目的的線性特征提取算法，通過最大化樣本的類間散布和類內(nèi)散布的比率將樣本的類別信息加入到特征提取的過程中，其目的是保留樣本的判別信息和整體的幾何結(jié)構(gòu)，然而，相關(guān)研究者指出保持樣本的局部信息對分類問題更有意義。同時(shí)線性判別分析在實(shí)際操作中會遇到小樣本問題，即類內(nèi)矩陣往往是奇異的。</p><p>　　在本章中，考慮樣本的局部信息，同時(shí)考慮樣本的類別信息，運(yùn)