基于幀間相關(guān)性分析的視頻顯著運(yùn)動檢測方法研究

1、<p>　　中圖分類號：TP391</p><p>　　論文編號：10006SY1406218</p><p><b>　　碩士學(xué)位論文</b></p><p>　　基于幀間相關(guān)性分析的視頻顯著運(yùn)動檢測方法研究</p><p><b>　　作者姓名 王永光</b></p>

2、<p>　　學(xué)科專業(yè) 計算機(jī)應(yīng)用技術(shù)</p><p>　　指導(dǎo)教師 趙沁平 教授</p><p>　　培養(yǎng)學(xué)院 計算機(jī)學(xué)院</p><p>　　Research of video saliency detection based on inter-frame correlation analysis</p><p>

3、　　A Dissertation Submitted for the Degree of Master</p><p>　　Candidate：Wang Yongguang</p><p>　　Supervisor：Prof. Zhao Qinping</p><p>　　School of Computer Science & Engineering<

4、;/p><p>　　Beihang University, Beijing, China</p><p>　　中圖分類號：TP391</p><p>　　論文編號：10006SY1406218</p><p>　　碩 士 學(xué) 位 論 文</p><p>　　基于幀間相關(guān)性分析的視頻顯著運(yùn)動檢測方法研究</p

5、><p>　　作者姓名 王永光 申請學(xué)位級別 工學(xué)碩士</p><p>　　指導(dǎo)教師姓名 趙沁平 職 稱 教授</p><p>　　學(xué)科專業(yè) 計算機(jī)應(yīng)用技術(shù) 研究方向 虛擬現(xiàn)實與計算機(jī)視覺</p><p>　　學(xué)習(xí)時間自

6、 年 月 日 起 至 年 月 日 止</p><p>　　論文提交日期 年 月 日 論文答辯日期 年 月 日</p><p>　　學(xué)位授予單位 北京航空航天大學(xué) 學(xué)位授予日期 年 月 日</p><p>　　關(guān)于學(xué)位論文的獨創(chuàng)性聲明&l

7、t;/p><p>　　本人鄭重聲明：所呈交的論文是本人在指導(dǎo)教師指導(dǎo)下獨立進(jìn)行研究工作所取得的成果，論文中有關(guān)資料和數(shù)據(jù)是實事求是的。盡我所知，除文中已經(jīng)加以標(biāo)注和致謝外，本論文不包含其他人已經(jīng)發(fā)表或撰寫的研究成果，也不包含本人或他人為獲得北京航空航天大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或?qū)W歷證書而使用過的材料。與我一同工作的同志對研究所做的任何貢獻(xiàn)均已在論文中作出了明確的說明。</p><p>　　若有

8、不實之處，本人愿意承擔(dān)相關(guān)法律責(zé)任。</p><p>　　學(xué)位論文作者簽名：        日期： 年 月 日</p><p><b>　　學(xué)位論文使用授權(quán)書</b></p><p>　　本人完全同意北京航空航天大學(xué)有權(quán)使用本學(xué)

9、位論文（包括但不限于其印刷版和電子版），使用方式包括但不限于：保留學(xué)位論文，按規(guī)定向國家有關(guān)部門（機(jī)構(gòu)）送交學(xué)位論文，以學(xué)術(shù)交流為目的贈送和交換學(xué)位論文，允許學(xué)位論文被查閱、借閱和復(fù)印，將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，采用影印、縮印或其他復(fù)制手段保存學(xué)位論文。</p><p>　　保密學(xué)位論文在解密后的使用授權(quán)同上。</p><p>　　學(xué)位論文作者簽名：

10、 日期： 年 月 日</p><p>　　指導(dǎo)教師簽名： 日期： 年 月 日</p><p><b>　　摘 要</b></p><p>　　近年相關(guān)領(lǐng)域關(guān)于視頻顯著性檢測已經(jīng)進(jìn)行了大量的研究，盡管已經(jīng)取得一定的

11、成果，但目前對于其實際應(yīng)用仍然存在一些傳統(tǒng)方法無法克服的局限性，如對非固定相機(jī)視頻的運(yùn)動物體檢測、對運(yùn)動緩慢的物體檢測等，這些局限性將會對后續(xù)應(yīng)用造成重大不利影響，因此當(dāng)前急需一種更為魯棒、更穩(wěn)定、更準(zhǔn)確的顯著運(yùn)動檢測方法。根據(jù)對人類的視覺成像系統(tǒng)工作原理的機(jī)器視覺理解，即顯著運(yùn)動的物體主要從兩方面吸引人類視覺系統(tǒng)：運(yùn)動顯著性以及顏色顯著性，提出一種結(jié)合光流速度場和顏色場的顯著運(yùn)動物體檢測方法。首先根據(jù)運(yùn)動場和顏色場結(jié)合得到初步的顯著值

12、分布圖，并在此基礎(chǔ)上根據(jù)幀間相關(guān)性采用自適應(yīng)傳遞對初步的結(jié)果進(jìn)行修正，從而得到最終的結(jié)果。并且，結(jié)合在4個公共數(shù)據(jù)集上的定量分析結(jié)果表明，本文提出的方法較傳統(tǒng)方法能夠獲得更穩(wěn)定、精確的視頻顯著性檢測結(jié)果。本文主要工作成果及進(jìn)展包括：</p><p>　　1. 基于運(yùn)動顏色梯度圖的底層顯著性結(jié)果計算：一個完整的視頻幀序列中，可以根據(jù)相鄰的圖像幀計算出每一幀的光流，本文采用對比度計算的方式來并使用運(yùn)動顏色梯度圖來指導(dǎo)

13、計算出每一個超像素的顯著度，根據(jù)每一個超像素所計算出的光流，結(jié)合事先計算的運(yùn)動顏色梯度圖，再計算出每一個超像素的運(yùn)動顯著度，從而得到每一幀的運(yùn)動顯著圖。同樣對于單幀圖像，衡量其顯著度的關(guān)鍵是其顏色與圖像中其他部分顏色的對比度，所以根據(jù)顏色場的分布，在運(yùn)動顏色梯度圖的引導(dǎo)下，從而計算出在每一個超像素位置的顏色顯著值，以得到每一幀圖像的顏色顯著圖，并將它們進(jìn)行融合之后就可以得到圖像幀的初步顯著值結(jié)果。</p><p>

14、;　　2．具有結(jié)構(gòu)信息的描述子構(gòu)造以及低秩計算：在得到初步的結(jié)果之后，首先需要對得到的底層顯著性結(jié)果進(jìn)行二值分割，將顯著超像素與背景超像素分離，由于在這里我們需要找出可靠地幀來對正確顯著值進(jìn)行傳遞，所以在這里我們使用低秩的方式來構(gòu)造，以得到可靠幀。而在得到這些信息之后，構(gòu)造出對結(jié)構(gòu)敏感的描述子，用以接下來的自適應(yīng)學(xué)習(xí)傳遞，我們根據(jù)運(yùn)動顏色梯度圖，構(gòu)造具有另外三個非顯著超像素作為約束的超像素描述子。</p><p>

15、;　　3. 基于底層顯著性結(jié)果的自適應(yīng)傳遞：在得到初步的顯著圖分布之后，需要使用可靠地顯著超像素對相鄰幀進(jìn)行傳遞，這里分為幀傳遞以及庫傳遞兩種。幀傳遞是指可靠幀向相鄰的幀使用對結(jié)構(gòu)敏感的描述子不斷迭代的傳遞，并且不斷在傳遞過程中對底層顯著性結(jié)果進(jìn)行修正優(yōu)化。而庫傳遞是將可靠的顯著超像素存入超像素傳遞庫中，使用庫中的顯著超像素對全局進(jìn)行傳遞，將傳遞結(jié)果與底層顯著性結(jié)果進(jìn)行融合對底層顯著性結(jié)果進(jìn)行修正，并不斷的對庫進(jìn)行更新，如此不斷迭代，以

16、得到最后的結(jié)果。</p><p>　　本文驗證方法正確性使用了4個公開的數(shù)據(jù)集，根據(jù)與groundtruth對比，本文的準(zhǔn)確率能達(dá)到90%以上，在準(zhǔn)確率、可信度、魯棒性、多樣性等方面能夠比肩一些現(xiàn)有先進(jìn)的方法。</p><p>　　關(guān)鍵詞：傳遞，顯著性，對比，視頻，檢測</p><p><b>　　Abstract</b></p>

17、<p>　　Although a lot of studies in salient motion detection have achieved great success in recent years, many challenges still exist toward the video saliency detection over the non-stationary videos and videos wit

18、h slowly-moving objects, which supposes to exhibit significant influence on its corresponding subsequent applications. Thus, it urgently needs a more robust, stable, and precise method to solve the above mentioned limita

19、tions. In fact, inspired from the basic visualization rule of the human </p><p>　　1. Calculate the initial result based on the motion color gradient graph: In a complete video frame sequence, the optical flo

20、w of each frame can be calculated from the adjacent image frames. In this paper, the contrast compute method is used and the motion color gradient to instruct the saliency of each super-pixel. According to each optical p

21、ixel calculated by the super-pixel, combined with the previously calculated motion color gradient, and then calculate motion degree of every super-pixel, s</p><p>　　2. Structure-aware Saliency Description an

22、d Low-Rank Computing: After obtaining the preliminary results, we first need to divide the result to get the Binary Segmentation result, separating the significant super-pixel from the background super-pixel, since we ne

23、ed to find a reliable frame to transfer the correct salient value, so here we construct low rank matrix to get a reliable frame. After constructing this information, we construct a structurally sensitive descriptor for t

24、he next adaptive l</p><p>　　3. Adaptive transfer based on preliminary results: After obtaining the initial significant graph distribution, it is necessary to use reliable super-pixel to correct adjacent fram

25、es, which are divided into frame transfer and library transfer. Frame transfer is that reliable frames use Structure-aware Saliency descriptor to transfer iteration, and continually correct the initial results in the del

26、ivery process. And the library transfer put reliable super-pixel into the super-pixel transfer librar</p><p>　　In this paper, to verify the correctness of our method , we conduct extensive experiments on 5 p

27、ublic available benchmarks, and make comprehensive, quantitative evaluations between our method and 5 state-of-the-art techniques. All results demonstrate the superiority of our method in accuracy, reliability, robustnes

28、s, and versatility. </p><p>　　Keywords: transfer, saliency, contrast, video, detection</p><p><b>　　目 錄</b></p><p><b>　　第一章緒論1</b></p><p>　　

29、1.1選題背景與來源1</p><p><b>　　1.2究意義2</b></p><p>　　1.3研究目標(biāo)與內(nèi)容4</p><p>　　1.4論文組織結(jié)構(gòu)6</p><p>　　第二章關(guān)鍵技術(shù)及研究現(xiàn)狀8</p><p>　　2.1顯著運(yùn)動檢測簡介8</p>

30、<p>　　2.1.1基于視頻幀間差異度的視頻顯著運(yùn)動檢測10</p><p>　　2.1.2基于非顯著性背景模型的視頻顯著運(yùn)動檢測10</p><p>　　2.1.3基于運(yùn)動模型的視頻顯著運(yùn)動檢測11</p><p>　　2.2圖像特征表示12</p><p>　　2.2.1基于顏色的圖像特征13</

31、p><p>　　2.2.2基于紋理的圖像特征16</p><p>　　2.2.3基于梯度的圖像特征17</p><p>　　2.2.4圖像特征現(xiàn)狀總結(jié)20</p><p>　　2.3超像素分割21</p><p>　　2.3.1Lab色彩空間簡介24</p><p>　　2.4

32、低分析25</p><p>　　2.4.1基于RPCA的低秩恢復(fù)方法28</p><p>　　2.4.2基于BRP的低秩恢復(fù)方法29</p><p><b>　　2.5光流29</b></p><p>　　2.5.1基于梯度的光流計算方法30</p><p>　　2.5.2基于

33、匹配的光流計算方法30</p><p>　　2.5.3基于能量的光流計算方法31</p><p>　　2.5.4基于相位的光流計算方法31</p><p>　　2.6本章小結(jié)31</p><p>　　第三章基于運(yùn)動顏色梯度圖的底層顯著性結(jié)果計算33</p><p>　　3.1運(yùn)動顏色梯度圖33&l

34、t;/p><p>　　3.2顯著性信息計算35</p><p>　　3.2.1顏色空間預(yù)處理35</p><p>　　3.2.2基于局部對比度的顏色顯著性計算37</p><p>　　3.2.3基于局部對比度的運(yùn)動顯著性計算40</p><p>　　3.3底層顯著性信息的平滑與融合42</p>

35、;<p>　　3.4本章小結(jié)44</p><p>　　第四章具有結(jié)構(gòu)信息的描述子構(gòu)造46</p><p>　　4.1前景物體大小的預(yù)計算46</p><p>　　4.2迭代二值分割48</p><p>　　4.3結(jié)構(gòu)敏感的描述子50</p><p>　　4.4基于結(jié)構(gòu)敏感的描述子的顯

36、著值傳遞53</p><p>　　4.5本章小結(jié)55</p><p>　　第五章基于低秩分析的顯著融合56</p><p>　　5.1幀段分解56</p><p>　　5.2低秩分析指導(dǎo)下的顯著性融合57</p><p>　　5.3自適應(yīng)學(xué)習(xí)59</p><p>　　5.3

37、.1相鄰幀間的自適應(yīng)學(xué)習(xí)傳遞62</p><p>　　5.3.2基于顯著超像素學(xué)習(xí)庫的自適應(yīng)學(xué)習(xí)傳遞63</p><p>　　5.4更新顯著值分布圖64</p><p>　　5.5本章小結(jié)65</p><p>　　第六章實驗結(jié)果分析66</p><p>　　6.1參數(shù)選擇66</p>

38、<p>　　6.2定量對比67</p><p><b>　　總結(jié)與展望72</b></p><p>　　1論文工作總結(jié)72</p><p>　　2未來工作展望72</p><p><b>　　參考文獻(xiàn)74</b></p><p>　　攻讀碩士期間

39、取得的學(xué)術(shù)成果82</p><p><b>　　致 謝83</b></p><p><b>　　圖 目</b></p><p>　　圖 1 視頻顯著運(yùn)動檢測示意圖2</p><p>　　圖 2 本文方法流程圖5</p><p>　　圖 3 顯著運(yùn)動檢

40、測8</p><p>　　圖 4 基于視頻幀間對比度的視頻顯著性動作檢測圖10</p><p>　　圖 5 基于運(yùn)動層聚類的視頻顯著性動作檢測11</p><p>　　圖 6 基于顯著性運(yùn)動軌跡的顯著性動作檢測12</p><p>　　圖 7 RGB顏色空間示意圖14</p><p>　　圖 8 H

41、SV色彩空間示意圖14</p><p>　　圖 9 加法混色法與減法混色法15</p><p>　　圖 10 Lab模型15</p><p>　　圖 11 樹木紋理與動物皮毛紋理對比16</p><p>　　圖 12 LBP編碼示意圖17</p><p>　　圖 13 多尺度高斯濾波差分圖計算示意圖

42、18</p><p>　　圖 15 SIFT尺度空間示意圖18</p><p>　　圖 16 關(guān)鍵點鄰域梯度信息的統(tǒng)計分布示意圖19</p><p>　　圖 17 積分圖像19</p><p>　　圖 18 HOG特征提取示意圖20</p><p>　　圖 19 超像素分割示意22</p&g

43、t;<p>　　圖 20 基于圖分割的超像素分割算法[51]22</p><p>　　圖 21 不同超像素方法分割結(jié)果24</p><p>　　圖 22 使用低秩分析方法進(jìn)行顯著物體檢測27</p><p>　　圖 23 低秩圖像結(jié)構(gòu)提取27</p><p>　　圖 24 低秩紋理結(jié)構(gòu)修復(fù)27</p&g

44、t;<p>　　圖 25 人臉圖像28</p><p>　　圖 26 光流結(jié)果示意圖30</p><p>　　圖 27 運(yùn)動顏色梯度示意圖34</p><p>　　圖 28 SLIC超像素分割流程圖36</p><p>　　圖 29 對比度計算方法結(jié)果對比38</p><p>　　圖

45、30 本文方法計算的顏色顯著度與方法[77]對比39</p><p>　　圖 31 底層顯著性結(jié)果計算說明.41</p><p>　　圖 32 平滑結(jié)果顯示42</p><p>　　圖 33 融合效果示意圖43</p><p>　　圖 34 聚類示意圖47</p><p>　　圖 35 底層顯著性

46、結(jié)果二值分割48</p><p>　　圖 36 結(jié)構(gòu)敏感的描述子構(gòu)造過程49</p><p>　　圖 37 傳遞流程以及結(jié)果對比54</p><p>　　圖 38 融合效果示意圖56</p><p>　　圖 39 PR曲線對比58</p><p>　　圖 40 結(jié)果對比59</p>

47、<p>　　圖 41 定量分析60</p><p><b>　　表 目</b></p><p>　　表 1 時間效率對比57</p><p><b>　　緒論</b></p><p><b>　　選題背景與來源</b></p><p&

48、gt;　　近年來，顯著性檢測備受關(guān)注，與將整個場景分割成離散部分的傳統(tǒng)分割問題不同的是，顯著性檢測的目的是發(fā)現(xiàn)語義區(qū)域，過濾掉不重要的區(qū)域。它的想法來自人的視覺系統(tǒng)，人的視覺系統(tǒng)第一階段就是一個快速而簡單的前注意處理過程[1]。顯著性運(yùn)動檢測作為計算機(jī)視覺應(yīng)用中的一個比較重要課題，是因為它為許多視覺應(yīng)用提供了一種快速的預(yù)處理。</p><p>　　對顯著性運(yùn)動檢測的研究包含了兩個內(nèi)容：圖像和視頻。對基于圖像的顯著

49、性檢測，我們希望找到那些與背景不同的區(qū)域，例如，在森林中的鹿。而對基于視頻的顯著性檢測則是一個與基于圖像的視頻檢測不一樣的問題，它的目的是從一個視頻序列中找出與背景不同的顯著運(yùn)動[2]。有可能是一個奔跑在沙灘上的人，又或者是檢測序列中的跳動的心臟。準(zhǔn)確、有效率的確定顯著運(yùn)動物體的位置對于很多視頻理解應(yīng)用是一個非常重要的預(yù)處理步驟。但是視頻顯著運(yùn)動檢測仍然是一個具有挑戰(zhàn)性的問題，因為視頻會有各種各樣的背景的運(yùn)動[3]。為了解決這個問題，有

50、很多的方法被提出來：如高斯混合模型（Gaussian Mixture Model GMM）[4]、非參數(shù)核密度估計（Nonparametric Kernel Density Estimation）[5]、結(jié)合運(yùn)動信息的自適應(yīng)KDE（adaptive KDE combined with motion information）[6]、貝葉斯學(xué)習(xí)方法（Bayesian Learning approach）[7]、線性動態(tài)模型（Linear D

51、ynamic Model）[8]、魯棒的卡爾曼濾波（R</p><p>　　圖 1 視頻顯著運(yùn)動檢測示意圖</p><p><b>　　研究意義</b></p><p>　　計算機(jī)視覺是一門研究如何使計算機(jī)通過圖像以及視頻的方式來理解世界、描述世界以及還原世界的科學(xué)。而視頻顯著運(yùn)動檢測技術(shù)是計算機(jī)視覺中的基本問題之一，也是后續(xù)一系列如對安保、

52、監(jiān)控、刑偵、娛樂等其他相關(guān)領(lǐng)域進(jìn)行應(yīng)用的基礎(chǔ)。</p><p>　　人類獲得的信息的百分之八十三來自視覺，百分之十一來自聽覺，剩下的則來自嗅覺，觸覺和味覺，人們對圖像以及視頻中所表現(xiàn)出的大量信息最為關(guān)注，在人類記憶中停留的時間最長。雖然圖像包羅萬象、種類繁多，但是對于一些具有特定屬性的圖像集或者視頻，現(xiàn)在人們一般可以無意識地分析出這些圖像或者視頻中所包含的人們關(guān)心的信息并對其加以利用，例如：在安全保護(hù)、影視、追蹤

53、等領(lǐng)域，人們不斷的對圖像集中的相關(guān)性信息進(jìn)行分析利用，來對圖像分割、視頻監(jiān)控、目標(biāo)跟蹤識別和目標(biāo)識別等分析工作。</p><p>　　視覺感知機(jī)理的研究表明：人類的視覺系統(tǒng)在某種程度上是具有很高效率并且具備高可靠性的圖像處理系統(tǒng)，而且大腦神經(jīng)元在對某個刺激信號進(jìn)行處理的過程中，僅有稀疏的神經(jīng)元參與信號編碼。因而，根據(jù)人類感知系統(tǒng)的特性，并以具體計算機(jī)應(yīng)用需求為驅(qū)動，圍繞圖像集的簡潔表示和相關(guān)性分析展開研究，對促進(jìn)

54、神經(jīng)學(xué)、認(rèn)知心理學(xué)等學(xué)科的理論研究產(chǎn)生重要的實踐意義。同時，其在相關(guān)領(lǐng)域的推廣應(yīng)用，使用圖像作為表達(dá)方式，減輕人們?nèi)粘Ｉ钪挟a(chǎn)生的大量的信息帶來的大數(shù)據(jù)壓力，并改善處理、存儲和傳輸信息的方式，降低成本，從長遠(yuǎn)來看，成本的降低對計算機(jī)應(yīng)用方面的發(fā)展具有深遠(yuǎn)的作用。</p><p>　　視頻圖像作為一類特殊的數(shù)據(jù)類型，特定的視頻中的圖像幀往往具有強(qiáng)相關(guān)性和結(jié)構(gòu)相似性，如：連續(xù)跟蹤拍攝的汽車、從遠(yuǎn)到近的人物、PCI手術(shù)

55、中前進(jìn)的導(dǎo)管等。如何從大量的視頻數(shù)據(jù)集中提取它們的“共性結(jié)構(gòu)”，并利用這些共性信息來指導(dǎo)具有低秩特性的特征空間的構(gòu)建，通過融合全局、局部信息為用戶提供更為理想的視頻圖像顯著運(yùn)動檢測手段，如在PCI手術(shù)中對自動對導(dǎo)管頭部進(jìn)行檢測，這對機(jī)器視覺以及與其相關(guān)的其它領(lǐng)域研究具有重要的現(xiàn)實意義。</p><p>　　近些年，在單幀靜態(tài)圖像上顯著性檢測算法的研究很多：Itti[10]通過對多尺度圖像顯著性特征進(jìn)行融合，并將結(jié)

56、果作為最終的顯著性目標(biāo)的檢測結(jié)果；Hou[11]提出基于傅里葉譜殘差的顯著目標(biāo)檢測方法；Achanta[12]通過對顏色與亮度等信息的融合得到顯著值分布圖。經(jīng)過多年的實際研究，人們發(fā)現(xiàn)衡量單幀圖像顯著性最重要的方式是進(jìn)行局部對比，例如顏色對比、形狀對比[13]，在一張圖像中，最顯著的前景物體通常較其周圍背景部分有著較高的對比度，而非顯著性背景區(qū)域則與其周圍差異較小。近年來，在計算機(jī)視覺方面有很多基于對比的顯著性檢測方法被相繼提出，如ch

57、eng[13]等人提出了基于區(qū)域?qū)Ρ榷鹊娘@著性檢測方法，類似的，Perazzi[14]將圖像進(jìn)行超像素分割，并通過對比超像素的顏色獨特性以及其在顏色特征空間的分布差異性來得到顯著性圖。盡管這些基于局部對比度的方法對于一般的自然場景的顯著性物體檢測有著較為理想的檢測結(jié)果，然而，傳統(tǒng)的局限性仍然無法克服，即由于局部對比度容易對大體積物體的中心區(qū)域造成顯著性漏檢，并最終導(dǎo)致空洞現(xiàn)象。因此，如何進(jìn)行對比度的計算則是顯著性檢測的一個重要的問題。&

58、lt;/p><p>　　根據(jù)人類的視覺成像的系統(tǒng)，人類的眼睛對于運(yùn)動物體的關(guān)注度較單一圖像的顏色顯著性更高。因此，對單幀圖像的顯著性檢測與視頻顯著性檢測會存在一定的不同，即視頻顯著性檢測算法需要更加關(guān)注運(yùn)動上的信息。相對于單幀圖像顏色的對比，運(yùn)動的差異則是衡量視頻顯著性的一個重要的因素，并且運(yùn)動的對比以及顏色對比得到的顯著性往往能夠互相彌補(bǔ)，使得結(jié)果更加準(zhǔn)確。但是，簡單的將這兩個顯著圖進(jìn)行融合很難得到一個魯棒的結(jié)果，

59、并且由于對比計算方法的問題，當(dāng)顏色顯著圖以及運(yùn)動顯著圖都不準(zhǔn)確時，最終的結(jié)果也會出現(xiàn)問題。</p><p>　　本文通過結(jié)合視頻幀時空關(guān)聯(lián)性以及低秩分析，通過算法集成和實現(xiàn)一個視頻顯著運(yùn)動檢測工具，對計算機(jī)視覺中的其它領(lǐng)域的應(yīng)用提供有力的支持，對計算機(jī)視覺應(yīng)用的研究具有重要的實際意義。</p><p><b>　　研究目標(biāo)與內(nèi)容</b></p><

60、p>　　論文的研究目標(biāo)：針對顯著運(yùn)動檢測在面對復(fù)雜視頻（背景變化，相機(jī)抖動等）時檢測困難的情況，通過對視頻相鄰幀間關(guān)系和自適應(yīng)學(xué)習(xí)傳遞方法的研究，研究并實現(xiàn)一種采用以超像素（Super-Pixel）為單位、結(jié)合視頻相鄰幀間關(guān)系和自適應(yīng)學(xué)習(xí)傳遞的顯著運(yùn)動檢測方法，并將其運(yùn)用到視頻中的顯著運(yùn)動檢測，以提高視頻顯著運(yùn)動檢測的準(zhǔn)確率，滿足顯著運(yùn)動檢測在安全控制、交通監(jiān)督、醫(yī)學(xué)領(lǐng)域等應(yīng)用的需求。方法流程圖如圖 2所示。</p>

61、<p>　　針對上述研究目標(biāo)，主要研究內(nèi)容分為如下三點：</p><p>　　1）基于運(yùn)動顏色梯度圖的底層顯著性結(jié)果計算：一個完整的視頻幀序列中，可以根據(jù)相鄰的圖像幀計算出每一幀的光流，本文采用對比度計算的方式來并使用運(yùn)動顏色梯度圖來指導(dǎo)計算出每一個超像素的顯著度，根據(jù)每一超像素的光流，結(jié)合事先計算的運(yùn)動顏色梯度圖，計算出每一個超像素的運(yùn)動顯著度，從而得到每一幀的運(yùn)動顯著圖。同樣對于單幀圖像，衡量其顯

62、著度的關(guān)鍵是其顏色與圖像中其他部分顏色的對比度，所以根據(jù)顏色場的分布，以運(yùn)動顏色梯度圖引導(dǎo)，從而計算出每一個超像素的顏色顯著度，得到每一幀的顏色顯著圖。將它們進(jìn)行融合之后就可以得到圖像幀的初步顯著值結(jié)果。</p><p>　　2）具有結(jié)構(gòu)信息的描述子構(gòu)造以及低秩計算：在得到初步的結(jié)果之后，首先需要對得到的底層顯著性結(jié)果進(jìn)行二值分割，將顯著超像素與背景超像素分離，由于在這里我們需要找出可靠地幀來對正確顯著值進(jìn)行傳遞

63、，所以在這里我們使用低秩的方式來構(gòu)</p><p>　　造，以得到可靠幀。而在得到這些信息之后，構(gòu)造出對結(jié)構(gòu)敏感的描述子，用以接下來的自適應(yīng)學(xué)習(xí)傳遞，我們根據(jù)運(yùn)動顏色梯度圖，構(gòu)造具有另外三個非顯著超像素作為約束的超像素描述子。</p><p>　　圖 2 本文方法關(guān)系圖</p><p>　　3） 基于底層顯著性結(jié)果的自適應(yīng)傳遞：在得到初步的顯著圖分布之后，需要使用

64、可靠地顯著超像素對相鄰幀進(jìn)行傳遞，這里分為幀傳遞以及庫傳遞兩種。幀傳遞是指可靠幀向相鄰的幀使用對結(jié)構(gòu)敏感的描述子不斷迭代的傳遞，并且不斷在傳遞過程中對底層顯著性結(jié)果進(jìn)行修正優(yōu)化。而庫傳遞是將可靠的顯著超像素存入超像素傳遞庫中，使用庫中的顯著超像素對全局進(jìn)行傳遞，將傳遞結(jié)果與底層顯著性結(jié)果進(jìn)行融合對底層顯著性結(jié)果進(jìn)行修正，并不斷的對庫進(jìn)行更新，如此不斷迭代，以得到最后的結(jié)果。</p><p><b>　　

65、論文組織結(jié)構(gòu)</b></p><p>　　按照研究工作的背景、內(nèi)容以及步驟，本文會對本文所研究的分為六個部分進(jìn)行展開敘述，各部分的具體內(nèi)容如下：</p><p>　　第一章 緒論。本章簡要的介紹了顯著運(yùn)動檢測方法在近些年的發(fā)展背景以及需求，并通過對傳統(tǒng)方法的研究列舉出顯著運(yùn)動檢測方法技術(shù)在當(dāng)前所遇到的問題，針對顯著運(yùn)動檢測方法目前的研究現(xiàn)狀和需求，提出了當(dāng)前研究一種自適應(yīng)學(xué)習(xí)顯

66、著運(yùn)動檢測方法的意義，并介紹本文的研究目標(biāo)與主要研究內(nèi)容等。</p><p>　　第二章 關(guān)鍵技術(shù)及研究現(xiàn)狀。在這一章中會介紹與本文研究內(nèi)容相關(guān)的一些技術(shù)的研究背景，并對相關(guān)理論技術(shù)的國內(nèi)外研究現(xiàn)狀進(jìn)行調(diào)研。首先介紹本文的研究內(nèi)容顯著運(yùn)動檢測的相關(guān)概念和近些年國內(nèi)外研究現(xiàn)狀，并對顯著運(yùn)動檢測的三種主要方法：基于視頻幀間對比度的視頻顯著運(yùn)動檢測、基于非顯著性背景模型的視頻顯著運(yùn)動檢測、基于運(yùn)動模型的視頻顯著運(yùn)動檢測

67、進(jìn)行論述。然后根據(jù)在本文的研究在實際的應(yīng)用中會涉及到的主要方法，在本章中將分別介紹圖像特征表示、超像素分割、低秩分析以及光流的研究現(xiàn)狀。</p><p>　　第三章 基于運(yùn)動顏色梯度圖的底層顯著性結(jié)果計算。為了能夠有效地計算圖像的顯著度，并且降低計算的代價，將會介紹將圖像進(jìn)行分割為超像素的步驟以及優(yōu)點，并且介紹當(dāng)前一些超像素分割方法。并對接下來會使用的運(yùn)動顏色梯度圖進(jìn)行介紹，并敘述如何計算得到運(yùn)動顏色梯度圖。接下

68、來根據(jù)單幀圖像顏色場在運(yùn)動顏色梯度圖的指導(dǎo)下進(jìn)行對比度計算得到的顏色顯著圖以及使用光流算法得到的視頻序列光流場在運(yùn)動顏色梯度圖的指導(dǎo)下進(jìn)行對比度計算得到的運(yùn)動顯著圖。并且由于這兩個顯著圖對于表達(dá)整個視頻幀的顯著運(yùn)動都是不足的情況，對它們進(jìn)行融合互補(bǔ)，并在此基礎(chǔ)上對底層顯著性結(jié)果進(jìn)行平滑處理，以得到相對可信的底層顯著性結(jié)果。最后詳細(xì)介紹進(jìn)行顯著圖計算的方法以及對兩個顯著圖進(jìn)行融合，并平滑的過程。</p><p>　

69、　第四章 具有結(jié)構(gòu)信息的描述子構(gòu)造以及低秩計算。在本章中首先介紹如何使用運(yùn)動顏色梯度圖來對前景物體的大小進(jìn)行預(yù)估，而知道了前景物體的大小對于后續(xù)步驟將會起到一個很大的作用。然后在知道前景物體大小的基礎(chǔ)上，采用自適應(yīng)調(diào)整的參數(shù)來對之前計算的初步顯著圖進(jìn)行二值分割，將前景物體與背景分離出，以便后續(xù)對其進(jìn)行結(jié)構(gòu)敏感的描述子的構(gòu)造。在設(shè)計描述子的時候，首先闡述了一個好的描述子對于計算機(jī)視覺算法的重要性，以及設(shè)計的這個描述子能夠帶給我們算法的提升

70、，然后詳細(xì)的介紹了描述子的構(gòu)造。</p><p>　　第五章 基于底層顯著性結(jié)果的自適應(yīng)傳遞。在本章將會介紹使用對結(jié)構(gòu)敏感的描述子來對每一個顯著超像素的顯著值進(jìn)行一個傳遞，分別為基于相鄰幀間的傳遞以及基于顯著超像素學(xué)習(xí)庫的傳遞。這兩種傳遞有它們各自的優(yōu)勢，所以接下來會介紹其融合方法。最后再通過使用傳遞的結(jié)果來對之前計算出的原始結(jié)果進(jìn)行一個融合。</p><p>　　第六章 實驗結(jié)果分析。本

71、章主要介紹了試驗中所用的4個benchmark，并展示一些結(jié)果圖，并與其它目前先進(jìn)方法進(jìn)行對比，主要從Precision Recall曲線以及F-measure兩方面進(jìn)行對比，并展示圖表。</p><p>　　最后是總結(jié)與展望，對本文所做的研究工作和研究成果進(jìn)行總結(jié)，并指出現(xiàn)有圖像解析成果工作存在的不足之處，且對系統(tǒng)的進(jìn)一步開發(fā)工作進(jìn)行展望。</p><p><b>　　關(guān)鍵技術(shù)

72、及研究現(xiàn)狀</b></p><p><b>　　顯著運(yùn)動檢測簡介</b></p><p>　　顯著運(yùn)動檢測是使用計算機(jī)對視頻中的運(yùn)動物體進(jìn)行自動檢測，并且以灰度圖的形式呈現(xiàn)出來的一種計算機(jī)視覺技術(shù)。顯著運(yùn)動檢測對于安全監(jiān)督、交通控制、人機(jī)交互等應(yīng)用有很重要的作用。盡管這個領(lǐng)域已經(jīng)被研究了很久，但是仍然有很多的技術(shù)難點尚未被人們解決，如非靜態(tài)視頻以及不斷變焦

73、和旋轉(zhuǎn)的相機(jī)引起的誤差等。為了解決上述問題，本文引入光流和自適應(yīng)學(xué)習(xí)傳遞來對視頻顯著運(yùn)動進(jìn)行檢測。顯著運(yùn)動檢測如圖 3所示。</p><p>　　近些年來，顯著性檢測備受人們的關(guān)注，與將整個場景分割成離散部分的傳統(tǒng)分割問題不同的是，顯著性檢測的目的是發(fā)現(xiàn)顯著區(qū)域，過濾掉不重要的區(qū)域。它的想法來自人的視覺系統(tǒng)，人的視覺系統(tǒng)第一階段就是一個快速而簡單的顯著度處理過程[1]。顯著性檢測是計算機(jī)視覺的重要課題之一，因為它

74、為許多計算機(jī)視覺方面的應(yīng)用提供了一種快速的預(yù)處理。</p><p>　　圖 3 顯著運(yùn)動檢測</p><p>　　給定一個視頻序列，視頻顯著運(yùn)動檢測的目的是將視頻序列幀中的運(yùn)動物體標(biāo)記出來，這些信息將會輸入到后續(xù)應(yīng)用（如視頻分割[15]、視頻物體追蹤識別[16]、視頻理解[17]等）中，以形成一個完整的視頻應(yīng)用鏈。近些年來計算機(jī)視覺發(fā)展迅速，作為計算機(jī)視覺中最活躍的一個研究方向，視頻顯著

75、運(yùn)動檢測也取得了很大的成果，可以看到現(xiàn)在很多的方法在一些數(shù)據(jù)集中能夠取得一個不錯的效果，對物體的檢測也具有相當(dāng)?shù)木?如基于局部建模的方法[18][19]，以及基于低秩分析的方法[3][20]，但這些方法都有其各自的局限性，比如對動態(tài)背景、運(yùn)動緩慢以及物體較大等情況的檢測效果不理想。</p><p>　　從視頻流中對運(yùn)動的物體進(jìn)行檢測對很多具體應(yīng)用都有很大的幫助，包括物體追蹤、視頻監(jiān)控、交通控制、安全控制等。盡管

76、對顯著運(yùn)動檢測的研究在近幾年取得了非常大的成果，但一些傳統(tǒng)的局限性仍然沒有得到很好的解決，特別是對于非靜態(tài)視頻，這很大的限制了基于運(yùn)動追蹤的智能系統(tǒng)在現(xiàn)實和復(fù)雜的場景的應(yīng)用范圍。在很多真實的環(huán)境中，運(yùn)動會由兩部分組成：我們感興趣的顯著運(yùn)動，我們不感興趣的噪聲的干擾。根據(jù)以前的文章[2]，顯著運(yùn)動在被這定義為一個處于監(jiān)控下的物體的運(yùn)動，如人、汽車等。而噪聲則是復(fù)雜的環(huán)境的干擾，如隨風(fēng)飄動的葉子之類，它常常會使得運(yùn)動檢測更加的困難[3]。因

77、此新的能夠在非靜態(tài)視頻中有效的方法是我們迫切需要的。</p><p>　　總的困難有：對無約束的視頻進(jìn)行長時間的魯棒運(yùn)動追蹤仍然存在很大困難，特別是對于長時間非靜態(tài)向旋轉(zhuǎn)及變焦（PTZ）視頻。由于傳統(tǒng)的低秩運(yùn)動檢測方法主要注重在全局視角對背景建模，所以在面對背景會隨時間變化的情況時會出現(xiàn)很大的錯誤[3]。經(jīng)典的基于魯棒主成分分析（RPCA）[21]的低秩分析認(rèn)為顯著運(yùn)動相對于具有低秩的背景而言是稀疏的，然而在某些

78、時候這樣的假定并不是全部成立的。顯著運(yùn)動檢測需要選擇性的選定顯著的運(yùn)動，然后很多低秩追蹤都忽略了上下文迭代來解決間歇移動目標(biāo)。依據(jù)當(dāng)前人們對視頻顯著性動作檢測手段，其主要可以分為如下三類：基于視頻幀間對比度的視頻顯著運(yùn)動檢測；基于非顯著性背景模型的視頻顯著運(yùn)動檢測；基于運(yùn)動模型的視頻顯著運(yùn)動檢測。</p><p>　　基于視頻幀間差異度的視頻顯著運(yùn)動檢測</p><p>　　圖 4 基于

79、視頻幀間對比度的視頻顯著性動作檢測圖</p><p>　　典型的基于幀間差異度的視頻顯著運(yùn)動檢測如圖 4所示，(a)和(b)為視頻中兩相隔20幀的視頻幀，(c)(d)(e)(f)為文獻(xiàn)[22]中的方法檢測得到的顯著性動作結(jié)果，其中紅色圈標(biāo)識出了錯誤的檢測。R Jain和HH Nagel[23]提出采用視頻連續(xù)幀間的差異度高低來判斷哪些發(fā)生幀間變化的視頻元素屬于顯著性動作。針對給定的不同的視頻序列，如果需要使用幀間

80、差異度來進(jìn)行檢測，那么通常需要定義不同的差異度閾值以判斷某一運(yùn)動是否顯著，如圖 4。所以在給定的顯著性閾值的情況下，J. Konrad [24]會依據(jù)各像素點的幀間差異度來對圖像中的運(yùn)動進(jìn)行判斷，以決定哪些是顯著的。當(dāng)然在單純的、獨立的在像素點層面所進(jìn)行的判斷往往由于現(xiàn)實中視頻的多樣性以及復(fù)雜性，使得其顯著性運(yùn)動檢測的結(jié)果往往存在許多因為噪聲引起的錯誤判斷（如圖4中（b）（c）（d）所示），并且由于物體具有一定的體積導(dǎo)致其檢測得到的顯著

81、性運(yùn)動往往存在空洞效應(yīng)（如圖4（b）所示）。而在此基礎(chǔ)上，R. Fablet [25]進(jìn)一步的以像素區(qū)域為單位進(jìn)行顯著運(yùn)動檢測，它的方法比之J. Konrad的方法有了一定的效果改善。T. Aach [</p><p>　　基于非顯著性背景模型的視頻顯著運(yùn)動檢測</p><p>　　與基于幀間差異度的視頻顯著性動作檢測方法不同，基于背景模型的顯著性動作檢測方法的優(yōu)勢在于它會以更小的計算成本

82、來進(jìn)行快速的顯著性動作檢測。但是缺點卻是很明顯，那就是它在實際的應(yīng)用中需要有這樣一個前提條件，即僅當(dāng)幀間的背景區(qū)域變化幅度不大的情況下，在此時基于背景模型的顯著性動作檢測才能獲得較為理想的效果。例如對于固定相機(jī)位置得到的監(jiān)控視頻，由于相機(jī)位置的不變使得背景區(qū)域的像素點的灰度分布通?？梢允褂脝蝹€高斯函數(shù)進(jìn)行表示，因此T. Kanade[28]和M. Hötter[29]認(rèn)為，前景中顯著性運(yùn)動就可以認(rèn)為是那些與高斯均值（背景像素點

83、的灰度分布已經(jīng)被表示為高斯函數(shù)）偏離較遠(yuǎn)的像素點。在此基礎(chǔ)上，C.R. Wren [30]引入多個高斯函數(shù)模型來擬合背景灰度分布，并且Elgammal [31]將這一方法成功的應(yīng)用到了行人追蹤。</p><p>　　然而，對于非固定相機(jī)獲取的視頻（動態(tài)視頻），由于背景隨著相機(jī)的運(yùn)動時刻發(fā)生變化，采用高斯函數(shù)來擬合背景灰度分布已經(jīng)變得不切實際。Mittal[32]采用前面視頻幀中計算得到的高斯核函數(shù)來對當(dāng)前幀中特定

84、位置的像素點進(jìn)行擬合（非常類似于稀疏表示中的重構(gòu)誤差計算顯著性）。值得一提的是，許多戶外的視頻背景通常在一定幀間隔內(nèi)都展現(xiàn)出持續(xù)的運(yùn)動狀態(tài)，因此，Y. Ren[33]在前面的方法上引入光流（optical flow，獲取背景的運(yùn)動軌跡）作為檢測顯著性動作的衡量標(biāo)準(zhǔn)。Y. Sheikh [34]利用幀間背景配準(zhǔn)的方式（輔以旋轉(zhuǎn)、仿射以及投影映射），將用于靜態(tài)視頻的顯著性動作檢測方法拓展到動態(tài)視頻上面。T. Darrel[22]采用最大似然

85、-馬爾科夫隨機(jī)場來對前景和背景同時建模，從而獲得了較為理想的檢測結(jié)果?？偟膩碚f，基于非顯著性背景模型的視頻顯著性動作檢測方法能夠較基于幀間差異度的檢測方法獲得更為準(zhǔn)確的檢測結(jié)果，然而，其依舊容易受到噪聲的干擾，并且其通常所需的計算量、內(nèi)存都遠(yuǎn)高于基于幀間差異度的顯著性動作檢測方法。</p><p>　　基于運(yùn)動模型的視頻顯著運(yùn)動檢測</p><p>　　圖 5 基于運(yùn)動層聚類的視頻顯著性

86、動作檢測</p><p>　　所謂的運(yùn)動模型視頻顯著性動作檢測通常事先定義好一系列的運(yùn)動模型（事先已經(jīng)定義好了各運(yùn)動模型的顯著性高低），然后將視頻幀中的各種不同的運(yùn)動劃分到不同的運(yùn)動模型之中，從而對視頻中的各元素進(jìn)行顯著性動作捕捉，如圖 5，其中(a)為輸入視頻幀圖像，(b)為運(yùn)動層聚類結(jié)果，(c)為在(b)的基礎(chǔ)之上進(jìn)行像素級灰度聚類結(jié)果，(d)顯著性動作檢測結(jié)果。J. Xiao[35]提出將視頻中的各元素視為

87、不同運(yùn)動層，而顯著性動作的檢測過程則認(rèn)為是將各幀中的元素超各運(yùn)動層進(jìn)行聚類（非常類似于基于聚類的視頻物體追蹤），如圖5（b）所示。 然而這種方法性能的好壞非常依賴于初始幀中運(yùn)動層（motion layer of initial frame）的劃分并，且計算十分復(fù)雜。為了克服這一缺陷，S. Pundlik[36]采用圖割（graph cut）的方法來決定初始運(yùn)動層的劃分，后續(xù)檢測過程怎可簡單的采用運(yùn)動聚類（motion clusterin

88、g）的過程，即首先計算幀間的運(yùn)動狀態(tài)，然后依據(jù)運(yùn)動狀態(tài)將各像素點劃分到不同的初始運(yùn)動層中，其結(jié)果如圖5（c）（d）所示。 Z. Gao[20]將視頻物體追蹤的方法引入到顯著性</p><p>　　圖 6 基于顯著性運(yùn)動軌跡的顯著性動作檢測</p><p><b>　　圖像特征表示</b></p><p>　　在計算機(jī)視覺和圖像處理中，圖像特征

89、作為解決特定應(yīng)用的計算任務(wù)時所用的揭示圖像信息，就和在機(jī)器學(xué)習(xí)以及模式識別中的信息一樣。圖像特征會具備特定的結(jié)構(gòu)信息，如點、角、邊界、或者物體等，當(dāng)然它也可以是一些鄰居操作或者特征提取所產(chǎn)生的結(jié)果。作為圖像信息的基礎(chǔ)，圖像的特征表示在近些年一直被人們所研究，并且也有了很大的進(jìn)展。而且由于圖像特征表示描述的種類眾多，所針對的描述類型也不一樣，因此很難有一個概括的分類。</p><p>　　對于圖像的特征表示現(xiàn)在在國

90、際上并沒有通用或精確的定義，確切的定義通常取決于實際中的問題或應(yīng)用。在計算機(jī)視覺中，圖像中被人們所關(guān)注的部分被定義為特征，并且圖像的特征一般是作為大部分計算機(jī)視覺算法應(yīng)用的第一步。由于特征被用作后續(xù)算法的起始點和主基元，所以整個算法將通常與其特征檢測器一樣好。因此，特征檢測器的期望特性是重復(fù)性：是否將在相同場景的兩個或更多個不同圖像中檢測到相同特征。</p><p>　　圖像特征提取是低級圖像處理操作，也就是說，

91、它通常是作為對圖像應(yīng)用的第一步操作來執(zhí)行，并且檢查每個像素以查看在該像素處是否存在特征。如果這是較大算法的一部分，則算法通常將僅檢查特征的區(qū)域中的圖像。作為特征檢測的內(nèi)置先決條件，輸入圖像通常由尺度空間表示中的高斯核進(jìn)行平滑，并且對于計算一個或多個特征圖像，通常以局部圖像導(dǎo)數(shù)操作來表示。有時當(dāng)特征檢測在計算上昂貴并且存在時間約束時，可以使用更高級別的算法來指導(dǎo)特征檢測階段，使得僅搜索圖像的某些部分以用于特征。許多計算機(jī)視覺算法使用特征檢

92、測作為初始步驟，因此在現(xiàn)在人們已經(jīng)開發(fā)了大量的特征檢測器。這些檢測器在所檢測的特征的種類，計算復(fù)雜性和重復(fù)性方面廣泛變化。</p><p>　　現(xiàn)在在下面介紹3種在計算機(jī)視覺中常用的圖像特征。</p><p><b>　　基于顏色的圖像特征</b></p><p>　　顏色是圖像信息表示的最基本元素之一。在顏色空間中，人們通常使用數(shù)值抽象地表示

93、亮度、灰度、色調(diào)、飽和度等顏色特征。</p><p>　　最常用的RGB色彩空間使用的是加法混色法（如圖 9所示），它的原理是基于物體的發(fā)光定義，在自然界中描述各種“光”通過何種比例來產(chǎn)生顏色描述紅綠藍(lán)三色光的數(shù)值，并且顏色從黑色不斷疊加紅綠藍(lán)這三種顏色產(chǎn)生顏色，通常將RGB顏色空間視為可以由用于紅色，綠色和藍(lán)色的三種顏色的燈制成的所有可能的顏色的顏色空間，如圖 7所示。</p><p>

94、　　圖 7 RGB顏色空間示意圖</p><p>　　HSV色彩空間使用色相、飽和度以及明度對顏色進(jìn)行描述，使得對色彩的描述更加直觀。它通過圓柱體內(nèi)的點對顏色進(jìn)行描述，圓柱中心軸在底部是黑色的，不斷變化亮度直到頂部的白色，而在中心軸的中間是的灰色，繞軸的角度對應(yīng)于“色相”，到軸的距離對應(yīng)于“飽和度”，而沿軸的距離對應(yīng)于“明度”，如圖 8所示。</p><p>　　圖 8 HSV色彩空間

95、示意圖</p><p>　　圖 9 加法混色法與減法混色法</p><p>　　Lab顏色空間是根據(jù)非線性壓縮（例如CIE XYZ）坐標(biāo)的具有針對亮度的L和針對顏色對立維度的a和b的顏色對立空間。Lab 顏色空間包括所有可感知的顏色，用來描述人眼可見的所有顏色最完備的色彩模型，其中L表示黑色和白色之間的亮度，a表示紅色和綠色之間的亮度，b表示黃色和藍(lán)色之間的亮度，如圖 10所示。<

96、/p><p>　　圖 10 Lab模型</p><p>　　在實際的計算機(jī)視覺應(yīng)用中，顏色直方圖[37]是最常用的表達(dá)顏色特征的方法，它能夠不受圖像旋轉(zhuǎn)以及平移的影響，如果進(jìn)一步的歸一化之后它還可以不受圖像尺度變化的影響，但這樣操作的同時還會帶來一些缺點，如不能表達(dá)出顏色空間中顏色分布的信息。雖然顏色特征是圖像特征表示中重要的一部分，但由于受運(yùn)動、分辨率、噪聲等的影響，僅考慮顏色特征的計算機(jī)

97、視覺應(yīng)用并不廣泛，所以還需要結(jié)合其他一些圖像特征。 </p><p><b>　　基于紋理的圖像特征</b></p><p>　　紋理是物體表面的一個非常重要特征，所以在圖像表示中，紋理同樣可以作為圖像特征的重要一部分。例如在顏色比較相似的情況下，區(qū)分木紋和毛皮的重要因素就是紋理，如圖 11所示，因此在紋理的描述和分類上的研究也一直是人們關(guān)注的重點。圖像紋理

98、是在為量化圖像設(shè)計的感知紋理的圖像處理中計算的一組度量。圖像紋理給我們關(guān)于圖像中的顏色分布和光強(qiáng)分布的空間排列或圖像的選定區(qū)域的信息。與基于像素點特征的顏色特征不同，紋理特征需要在包含多個像素點的區(qū)域中進(jìn)行統(tǒng)計計算。作為一種統(tǒng)計特征，紋理特征常具有旋轉(zhuǎn)不變性，面對噪聲時具有一定的魯棒性。但是與此同時它也有其缺點，當(dāng)圖像分辨率發(fā)生變化時，傳統(tǒng)方法計算出來的紋理在分辨率變化前后可能會有較大偏差。并且由于受到光照、鏡面反射等情況影響，從2-D

99、圖像中計算出來的紋理會與現(xiàn)實中3-D物體表面真實的紋理具有大的偏差。 </p><p>　　圖 11 樹木紋理與動物皮毛紋理對比</p><p>　　圖像紋理可以人工創(chuàng)建或在圖像中捕獲的自然場景中找到，圖像紋理是一種可用于幫助圖像分割或分類的方法。對于更精確的分割，最有用的特征是空間頻率和平均灰度級。為了分析計算機(jī)中的圖像紋理，通常來說人們一般有兩種方法來處理這個問題：基于結(jié)構(gòu)

100、化方法和基于統(tǒng)計方法?；诮Y(jié)構(gòu)化的紋理特征提取方法是對所檢測的紋理進(jìn)行建模，并以此模型在圖像中搜索相同的模式。</p><p>　　在計算機(jī)視覺的應(yīng)用中，一般基于紋理的圖像特征會采用最簡單和有效的LBP紋理描述方法，并且在近些年大量研究表明了LBP紋理特征在識別面部方面取得了先進(jìn)的效果。LBP方法在1994年首先由T. Ojala, M.Pietikäinen和D. Harwood 提出[38][39]

101、，用于紋理特征提取。后來LBP方法與HOG特征分類器組合使用，改善某些數(shù)據(jù)集[40]上的檢測效果。最基本的LBP方法以一個像素點為中心，用其環(huán)形領(lǐng)域的8個像素點與中心像素進(jìn)行順時針或者逆時針比較，遍歷像素點是否比中心像素的亮度大，（若大則為0，否則為1）得到二進(jìn)制編碼，該二進(jìn)制編碼為該像素點的LBP值，如圖 12所示，二進(jìn)制編碼為00111101。</p><p>　　圖 12 LBP編碼示意圖</p&g

102、t;<p><b>　　基于梯度的圖像特征</b></p><p>　　圖像梯度是描述圖像信息重要的方式，它將圖像看成是二維的離散函數(shù)，這時候求解圖像梯度就是對這個二維離散函數(shù)的求導(dǎo)過程。圖像中的相鄰像素間就如同坡度一樣有差異，采用圖像梯度對圖像信息進(jìn)行表示，就能夠準(zhǔn)確的反映圖像中像素的變化情況。下面介紹幾種常用的基于梯度的描述子。</p><p>　　

103、1999年，哥倫比亞大學(xué)的David Lowe在ICCV上首次提出了著名的SIFT(Scale Invariant Feature Transform)算法[41]，也就是尺度不變特征轉(zhuǎn)換算法。2004年，Lowe又在IJCV上提升了SIFT算法的計算效率[42]。SIFT特征關(guān)鍵點提取主要包含以下流程：(1)首先對輸入圖像進(jìn)行不同尺度的縮放；(2)利用不同程度的高斯濾波模板對每個尺度的圖像進(jìn)行濾波生成高斯差分(Difference o

104、f Gaussian)空間圖像；(3)相鄰層圖像之間計算差分圖像并檢測多尺度空間下的圖像極值點；(4)對每個高斯差分空間極值點統(tǒng)計方向直方圖并計算主要方向；(5)生成關(guān)鍵點描述子，即最終的特征向量。SIFT特征描述子對旋轉(zhuǎn)縮放、亮度變化等均能保持良好的不變性。同時，SIFT算法也是許多之后的對象檢測算法的基礎(chǔ)。可用于圖像局部特征關(guān)鍵點提取。高斯濾波差分圖計算示意圖如圖13所示。</p><p>　　圖 13 多

105、尺度高斯濾波差分圖計算示意圖</p><p>　　SIFT（Scale-invariant Feature Transform）描述子[42]是檢測局部特征的描述子，SIFT特征不只具有尺度不變性，在角度、亮度或攝像機(jī)視角等因素發(fā)生改變的時候，它仍然能夠得到好的檢測效果。SIFT描述子首先要構(gòu)造尺度空間，而構(gòu)造尺度空間目的是模擬圖像數(shù)據(jù)的多尺度特征。然后SIFT描述子在空間尺度中通過高斯微分函數(shù)尋找極值點，然后根

106、據(jù)極值點提取出其尺度、位置及旋轉(zhuǎn)不變量。如圖 14所示，SIFT描述子在多尺度的空間上檢測，找到圖像的關(guān)鍵極值點。</p><p>　　圖 14 SIFT尺度空間示意圖</p><p>　　在這里關(guān)鍵點主要包括DOG空間中的局部極值點，并且SIFT關(guān)鍵點的初步探查是通過比較同組內(nèi)DoG相鄰兩層圖像完成的。為了尋找DoG函數(shù)的極值點，每一個像素點要和它所有的相鄰點在圖像域和尺度域上比較大小

107、。如圖 15所示，中間檢測點需要與它在同一尺度智商的八個相鄰點以及上下相鄰尺度對應(yīng)的十八個點共二十六個點進(jìn)行大小比較，以保證能在尺度空間以及二維圖像空間上都可以檢測到極值點。并且在得到這些極值點之后還需要進(jìn)行關(guān)鍵點定位、消除邊緣效應(yīng)、關(guān)鍵點方向匹配、特征描述等一系列的處理最終得到特征點。</p><p>　　圖 15 關(guān)鍵點鄰域梯度信息的統(tǒng)計分布示意圖</p><p>　　SURF（Sp

108、eeded Up Robust Features）描述子[43]是在SIFT描述子基礎(chǔ)上進(jìn)行的改進(jìn)后的一種描述子，它基于Hessian矩陣的尺度不變，并利用積分圖像進(jìn)行計算從而加快運(yùn)算速度，積分圖像上的任意一坐標(biāo)上（i，j）的值為原圖像左上角到此點的對焦區(qū)域的灰度值總和，計算由公式（2.1）所得，示意圖如圖 16所示。并且由于SURF描述子是由SIFT描述子中經(jīng)過改進(jìn)得到，所以在一般情況下可以看到標(biāo)準(zhǔn)SURF描述子會比SIFT描述子在計