復(fù)雜環(huán)境中的運(yùn)動(dòng)目標(biāo)檢測(cè)、提取與跟蹤研究

1、運(yùn)動(dòng)目標(biāo)檢測(cè)、提取,主 講：劉 龍 2024年3月16日,研究現(xiàn)狀,已經(jīng)出現(xiàn)了眾多的視覺跟蹤算法。視覺跟蹤問題進(jìn)行分類 ●攝像機(jī)的數(shù)目：?jiǎn)螖z像機(jī)Vs多攝像機(jī) ●攝像機(jī)是否運(yùn)動(dòng)：攝像機(jī)靜止Vs攝像機(jī)運(yùn)動(dòng) ●場(chǎng)景中運(yùn)動(dòng)目標(biāo)的數(shù)目：?jiǎn)芜\(yùn)動(dòng)目標(biāo)Vs多運(yùn)動(dòng)目標(biāo) ●場(chǎng)景中運(yùn)動(dòng)目標(biāo)的類型：剛體Vs非剛體 ●傳感器的種類：可見光圖像Vs紅外圖像處理視覺跟蹤問題的兩種思路

2、●自底向上（Bottom-Up，Data-Driven） ●自頂向下（Top-Down，Model-Driven）視覺跟蹤方法分類 ●基于區(qū)域的跟蹤（Region-based tracking） ●基于特征的跟蹤（Feature-based tracking） ●基于變形模板的跟蹤（Deformable-Template-based tracking） ●基于模型的跟蹤（Model-ba

3、sed tracking),技術(shù)路線,由于本文研究具有極強(qiáng)的工程應(yīng)用背景，因此選擇了自底向上的思路，這種思路對(duì)視覺跟蹤的一般處理過程示意圖如下,,,預(yù)處理,運(yùn)動(dòng)檢測(cè),目標(biāo)分類,目標(biāo)跟蹤,,,圖像序列,,,,,技術(shù)路線,本學(xué)位論文對(duì)其中所涉及的四個(gè)環(huán)節(jié)，即圖像預(yù)處理、目標(biāo)檢測(cè)、目標(biāo)分類和目標(biāo)跟蹤進(jìn)行了研究。主要的創(chuàng)新之處包括以下四個(gè)方面。圖像預(yù)處理--消噪算法及推廣算法 目標(biāo)檢測(cè)--PIC算法及PICM算

4、法目標(biāo)分類--FFA Snake算法,返回目錄,運(yùn)動(dòng)目標(biāo)檢測(cè),問題的提出相關(guān)工作基于像素灰度歸類的背景重構(gòu)算法(Pixel Intensity Classification, PIC )基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法(Pixel Intensity Classification and Mend, PICM）小結(jié),問題的提出,在視頻監(jiān)視系統(tǒng)中，運(yùn)動(dòng)目標(biāo)的檢測(cè)與分割是個(gè)非常重要的問題，尤其在復(fù)雜環(huán)境中對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)

5、時(shí)，由于受到環(huán)境噪聲的影響，往往很難檢測(cè)到完整的或者真實(shí)的運(yùn)動(dòng)目標(biāo)。運(yùn)動(dòng)檢測(cè)的方法很多，這些方法可以分為三類：基于光流的運(yùn)動(dòng)檢測(cè)?；谙噜弾瑘D像差分的運(yùn)動(dòng)檢測(cè)?；诒尘安畹倪\(yùn)動(dòng)檢測(cè)。,問題的提出,由于背景差方法的優(yōu)越性，選擇該方法作為研究的對(duì)象，但是該方法的難點(diǎn)在于如何在背景不斷變化的情況下構(gòu)造出隨之變化的背景圖像以避免運(yùn)動(dòng)目標(biāo)的誤檢測(cè)。,相關(guān)工作,一種經(jīng)典的方法是時(shí)間平均法，即對(duì)一段時(shí)間中的圖像序列求和再平均，獲得一幀近似的背景

6、圖像，但是這種方法容易將前景運(yùn)動(dòng)目標(biāo)混入背景圖像當(dāng)中，產(chǎn)生混合現(xiàn)象。,相關(guān)工作,近年來關(guān)于背景圖像的自適應(yīng)更新，主要有兩大類方法，第一類方法建立背景模型，并采用自適應(yīng)方法對(duì)模型參數(shù)進(jìn)行調(diào)整，從而獲得新的背景圖像，這類方法通常假定在模型初始化階段，背景圖像中不含運(yùn)動(dòng)前景，但這種假設(shè)在實(shí)際的公共場(chǎng)合很難滿足；其次，運(yùn)動(dòng)前景很容易混入到背景圖像中，產(chǎn)生混合現(xiàn)象。,相關(guān)工作,第二類方法是從過去的一組觀測(cè)圖像當(dāng)中按照一定的假設(shè)選擇像素灰度構(gòu)成當(dāng)前

7、的背景圖像，這類方法的優(yōu)點(diǎn)在于背景的初始化與場(chǎng)景中是否存在運(yùn)動(dòng)的前景無關(guān)，同時(shí)能夠有效避免混合現(xiàn)象。但是，由于這類方法是從過去的一段圖像序列中重構(gòu)背景圖像，因此不如第一類方法能夠適應(yīng)迅速的場(chǎng)景變化，而是產(chǎn)生一定的時(shí)間延遲，但這個(gè)問題對(duì)于長(zhǎng)時(shí)間圖像監(jiān)視和跟蹤系統(tǒng)的影響不大。本文的背景重構(gòu)算法屬于第二類方法。,基于像素灰度歸類的背景重構(gòu)算法,首先選擇假設(shè)。第二類方法所采用的背景假設(shè)主要有：在一段圖像序列中，像素點(diǎn)處于穩(wěn)定狀態(tài)最長(zhǎng) 的灰度

8、值是背景像素灰度值。背景至少在50%的時(shí)間內(nèi)可以被觀測(cè)到。背景在圖像序列中總是最經(jīng)常被觀測(cè)到的。上述假設(shè)中，最后一種假設(shè)相比而言更為合理。。,基于像素灰度歸類的背景重構(gòu)算法,算法步驟：步驟1：劃分像素點(diǎn)的灰度平穩(wěn)區(qū)間；步驟2：分別計(jì)算各灰度平穩(wěn)區(qū)間的平均灰度值；步驟3：將平均灰度值相近的灰度平穩(wěn)區(qū)間歸為一類稱之為灰度值一致區(qū)間，統(tǒng)計(jì)該區(qū)間像素點(diǎn)出現(xiàn)的頻率；步驟4：選擇頻率最大的灰度值作為該像素點(diǎn)的背景灰度值。,基于像素灰度

9、歸類的背景重構(gòu)算法,步驟1：劃分像素點(diǎn)的灰度平穩(wěn)區(qū)間；已知圖像序列 ，從中等間隔抽取N +1幀圖像。 表示在這N +1幀圖像中的第i幀( i = 0,1,2,…, N )像素點(diǎn)(x,y)處的灰度值。則存在下式 , 和 灰度值不一致，不屬于同一灰度平穩(wěn)區(qū)間； ，

10、 和 灰度值一致，屬于同一灰度平穩(wěn)區(qū)間。,基于像素灰度歸類的背景重構(gòu)算法,步驟2：分別計(jì)算各灰度平穩(wěn)區(qū)間的平均灰度值； 第s個(gè)灰度平穩(wěn)區(qū)間的平均灰度值為 由上式可得灰度平穩(wěn)區(qū)間的平均灰度值。,基于像素灰度歸類的背景重構(gòu)算法,步驟3：將平均灰度值相近的灰度平穩(wěn)區(qū)間歸為一類稱之為灰度值一致區(qū)間，統(tǒng)計(jì)該區(qū)間像素點(diǎn)出現(xiàn)的頻率；比較所得灰度平穩(wěn)區(qū)間的平均灰度值，選出灰度值一致的

11、全部區(qū)間并合并，如果有則第i個(gè)區(qū)間和第j區(qū)間為灰度值一致區(qū)間,其平均灰度值為,基于像素灰度歸類的背景重構(gòu)算法,步驟4：選擇頻率最大的灰度值作為該像素點(diǎn)的背景灰度值。將灰度值一致區(qū)間中最大像素?cái)?shù)與所對(duì)應(yīng)的平均灰度值分別記為 和 ，有下式即像素點(diǎn)(x,y)所對(duì)應(yīng)的背景像素點(diǎn)的灰度值為,基于像素灰度歸類的背景重構(gòu)算法,實(shí)驗(yàn)結(jié)果一：,,基于像素灰度歸類的背景重

12、構(gòu)算法,實(shí)驗(yàn)結(jié)果二：,,基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法,基于像素灰度歸類的背景重構(gòu)算法存在的問題。 在圖像序列分析中，如果背景像素的出現(xiàn)滿足假設(shè)條件，即背景在圖像序列中總是最經(jīng)常被觀測(cè)到的，則利用PIC算法可以獲得非常滿意的重構(gòu)背景。但是在很多情況下，這種假設(shè)條件并不滿足。,基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法,例如在高速公路上，如果車輛較多時(shí)，道路在大多數(shù)情況下總是被遮擋的。,,基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法,基于像

13、素灰度歸類與修補(bǔ)的背景重構(gòu)算法的算法思路： PICM算法首先確定出利用PIC算法得到的重構(gòu)背景中的錯(cuò)誤區(qū)域，然后按照一定的規(guī)則對(duì)錯(cuò)誤區(qū)域進(jìn)行修補(bǔ)，最終得到正確的重構(gòu)背景。 即算法分為三步： 步驟1：利用PIC算法得到重構(gòu)的初始背景； 步驟2：確定初始背景中的錯(cuò)誤區(qū)域； 步驟3：修補(bǔ)錯(cuò)誤區(qū)域，獲得正確的重構(gòu)背景。,基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法,步驟2：確定背景中的錯(cuò)誤區(qū)域； 初始背景中的錯(cuò)誤區(qū)域通常

14、是由該區(qū)域運(yùn)動(dòng)目標(biāo)的遮擋所造成的，盡管這些錯(cuò)誤區(qū)域所對(duì)應(yīng)的真實(shí)背景在實(shí)際圖像序列中出現(xiàn)的頻率并不是最高的，但仍會(huì)以一定的頻率出現(xiàn)。因此，如果將該圖像序列與初始重構(gòu)背景相減，那么錯(cuò)誤區(qū)域所對(duì)應(yīng)像素點(diǎn)的灰度值總是會(huì)以一個(gè)比較高的比例顯示為變化的。,基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法,由步驟2得到的實(shí)驗(yàn)結(jié)果,,基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法,步驟3：修補(bǔ)錯(cuò)誤區(qū)域，獲得正確的重構(gòu)背景。 這一步的工作是在區(qū)域一致性假設(shè)的前提下進(jìn)行的

15、。所謂區(qū)域一致性假設(shè)是指，如果在背景的一個(gè)區(qū)域中，像素灰度值是大面積均勻的，則稱該區(qū)域?yàn)榫鶆騾^(qū)域，在均勻區(qū)域中不會(huì)出現(xiàn)像素灰度值突變的區(qū)域，這種假設(shè)非常符合背景中含有道路、廣場(chǎng)和天空等均勻區(qū)域的情況。 然后選擇錯(cuò)誤區(qū)域周邊的像素灰度值作為標(biāo)準(zhǔn)灰度值,在錯(cuò)誤區(qū)域所對(duì)應(yīng)的像素點(diǎn)上選出與標(biāo)準(zhǔn)灰度值最接近的灰度值作為該點(diǎn)背景像素的灰度值，從而獲得正確的重構(gòu)背景，即最終背景。,基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法,由步驟3得到的實(shí)驗(yàn)結(jié)果,,基

16、于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法,實(shí)驗(yàn)結(jié)果一：,,基于像素灰度歸類與修補(bǔ)的背景重構(gòu)算法,實(shí)驗(yàn)結(jié)果二：,,小結(jié),針對(duì)復(fù)雜環(huán)境中的運(yùn)動(dòng)目標(biāo)檢測(cè)問題，本章首先提出了一種基于像素灰度歸類的背景重構(gòu)算法(PIC)，該算法無須對(duì)場(chǎng)景中的背景和目標(biāo)建立模型，能夠直接從含有前景運(yùn)動(dòng)目標(biāo)的場(chǎng)景圖像中重構(gòu)背景，有效的避免了混合現(xiàn)象。同時(shí)PIC算法只需要對(duì)一個(gè)物理意義明確的參數(shù)進(jìn)行調(diào)節(jié)，在參數(shù)變化的很大范圍內(nèi)都可以得到滿意的結(jié)果。通過對(duì)實(shí)際圖像序列的處理表

17、明，PIC算法能夠很好的進(jìn)行背景重構(gòu)。,小結(jié),但PIC算法是建立在假設(shè)背景像素以最大概率出現(xiàn)在圖像序列中的前提下的，若不滿足這種假設(shè)則不能正確重構(gòu)背景。因此本章又提出基于像素灰度歸類和修補(bǔ)的背景重構(gòu)算法(PICM)，該算法重構(gòu)出初始背景之后，檢測(cè)初始背景中的錯(cuò)誤區(qū)域并對(duì)其進(jìn)行修補(bǔ)，最終獲得正確的重構(gòu)背景，從而有效克服了當(dāng)不滿足初始假設(shè)條件時(shí)背景圖像的錯(cuò)誤重構(gòu)問題。通過對(duì)實(shí)際圖像序列的處理表明，PICM算法能夠準(zhǔn)確地進(jìn)行背景重構(gòu)，從而正確

18、完整地檢測(cè)和分割出運(yùn)動(dòng)的前景目標(biāo)。,返回目錄,基于力場(chǎng)分析Snake的運(yùn)動(dòng)目標(biāo)提取,問題的提出主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ)基于力場(chǎng)分析的主動(dòng)輪廓模型實(shí)驗(yàn)結(jié)果與比較小結(jié),問題的提出,在圖像監(jiān)視和跟蹤系統(tǒng)中，檢測(cè)到運(yùn)動(dòng)目標(biāo)之后，應(yīng)當(dāng)將運(yùn)動(dòng)目標(biāo)提取出來，以便獲取運(yùn)動(dòng)目標(biāo)的相關(guān)信息，從而進(jìn)行更進(jìn)一步的處理。 運(yùn)動(dòng)目標(biāo)的提取問題屬于圖像分割范疇。在眾多的圖像分割方法中，主動(dòng)輪廓模型(Active Contour Models) 近些年受

19、到廣泛關(guān)注。主動(dòng)輪廓模型又稱為Snake模型。本章主要利用Snake模型實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)完整和有意義地提取。,問題的提出,傳統(tǒng)Snake模型存在以下嚴(yán)重缺點(diǎn)：初始輪廓必須靠近感興趣圖像的真實(shí)邊緣，否則就會(huì)得到錯(cuò)誤的結(jié)果。不能進(jìn)入感興趣圖像的深凹部分。參數(shù)主動(dòng)輪廓模型具有非凸性，曲線能量最小時(shí)有可能是局部極小點(diǎn)。,問題的提出,針對(duì)這些缺點(diǎn)已經(jīng)提出了許多改進(jìn)算法，主要有主動(dòng)輪廓線的氣球模型。距離勢(shì)能模型。GVF Snake（Gra

20、dient Vector Flow Snake）。 但上述算法在解決傳統(tǒng)Snake模型其中一個(gè)或兩個(gè)缺點(diǎn)的同時(shí)又會(huì)產(chǎn)生新的問題。為此，經(jīng)過研究提出一種基于力場(chǎng)分析的主動(dòng)輪廓模型(Force Field Analysis Snake)，稱為FFA Snake。,主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ),主動(dòng)輪廓模型分為兩大類：一類是參數(shù)主動(dòng)輪廓模型（Parametric Active Contour Model）另一類是幾何主動(dòng)輪廓模型（

21、Geometric Active Contour Model）,主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ),參數(shù)主動(dòng)輪廓模型傳統(tǒng)的參數(shù)Snake模型是一條曲線v(s)=[x(s), y(s)], s [0,1],這條曲線在圖象的空間域中移動(dòng)的能量最小化函數(shù)為其中， 稱為內(nèi)部能量函數(shù)，用來平滑Snake曲線。 稱為外部能量函數(shù)，用來推動(dòng)或牽引Snake向圖象中感興趣特征移動(dòng)。,主動(dòng)輪廓模型的數(shù)學(xué)基礎(chǔ),幾何主動(dòng)輪廓模型幾何主動(dòng)輪廓模型是

22、建立在曲線演化理論(Curve Evolution Theory)基礎(chǔ)上利用水平集(Level Set)方法來實(shí)現(xiàn)的。在水平集方法中，曲線 被看作是高一維水平集函數(shù) 的零水平集，定義 值是點(diǎn) 在時(shí)刻 時(shí)到曲線 的最短距離，則曲線 由下式表示,基于力場(chǎng)分析的主動(dòng)輪廓模型,FFA Snake的算法思路算法步驟真輪廓點(diǎn)的判定假輪

23、廓點(diǎn)已更新輪廓,基于力場(chǎng)分析的主動(dòng)輪廓模型,FFA Snake的算法思路傳統(tǒng)Snake方法所得結(jié)果示意圖,(a)Snake的收縮過程使用(b)距離勢(shì)能力場(chǎng)，(c)在接近邊緣凹槽處的力場(chǎng)分布細(xì)節(jié)示意,,,,基于力場(chǎng)分析的主動(dòng)輪廓模型,FFA Snake的算法思路FFA Snake的算法思路示意圖,,,基于力場(chǎng)分析的主動(dòng)輪廓模型,FFA Snake的算法思路要實(shí)現(xiàn)上述思想，主要解決兩個(gè)問題：1）如何判斷預(yù)更新輪廓中的真輪廓點(diǎn)和假輪

24、廓點(diǎn)？也就是說，在上圖中如何確定假輪廓ACB。2）如何確定已更新輪廓？實(shí)際上，這個(gè)問題要解決的是如何確定上圖中的對(duì)應(yīng)輪廓點(diǎn)D，因?yàn)橹懒它c(diǎn)D就可以將點(diǎn)C直接拖向點(diǎn)D，從而也就確定了已更新輪廓ADB。,基于力場(chǎng)分析的主動(dòng)輪廓模型,FFA Snake的算法步驟步驟1：對(duì)輸入圖像進(jìn)行邊緣檢測(cè)，求取邊緣圖像；步驟2：對(duì)邊緣圖像求基于歐氏距離變換的距離勢(shì)能力場(chǎng)作為外部力場(chǎng)；步驟3：在外部力場(chǎng)上設(shè)定Snake的初始輪廓，進(jìn)行Snake變形，

25、得預(yù)更新輪廓；步驟4：判斷預(yù)更新輪廓中有無假輪廓，若有轉(zhuǎn)步驟5，若無轉(zhuǎn)步驟7；步驟5：搜尋所有假輪廓的對(duì)應(yīng)輪廓點(diǎn)；步驟6：將預(yù)更新輪廓中的假輪廓拉向其對(duì)應(yīng)輪廓點(diǎn)，得到已更新輪廓，以此已更新輪廓作為Snake的初始輪廓，轉(zhuǎn)步驟3；步驟7：預(yù)更新輪廓為最終感興趣圖像的真實(shí)輪廓，算法結(jié)束。,基于力場(chǎng)分析的主動(dòng)輪廓模型,真輪廓點(diǎn)的判定 通過觀察發(fā)現(xiàn)，真輪廓點(diǎn)的力場(chǎng)分布具有極強(qiáng)的規(guī)律性，假輪廓點(diǎn)的力場(chǎng)分布卻沒有規(guī)律可言。因此，只要?dú)w

26、納出真輪廓點(diǎn)8-連接域中力場(chǎng)分布規(guī)律，從預(yù)更新輪廓中將符合這些規(guī)律的輪廓點(diǎn)去掉，剩下的輪廓點(diǎn)就是假輪廓點(diǎn)，也就確定出了假輪廓。 通過對(duì)大量真輪廓點(diǎn)8-連接域中力場(chǎng)分布規(guī)律的總結(jié)，一共歸納出了六類真輪廓點(diǎn)，分別是正規(guī)輪廓點(diǎn)、16對(duì)輪廓點(diǎn)、斷點(diǎn)、中心輪廓點(diǎn)、零點(diǎn)以及特殊輪廓點(diǎn)。,基于力場(chǎng)分析的主動(dòng)輪廓模型,真輪廓點(diǎn)的判定真輪廓點(diǎn)的力場(chǎng)分布具有極強(qiáng)的規(guī)律性。,基于力場(chǎng)分析的主動(dòng)輪廓模型,真輪廓點(diǎn)的判定正規(guī)輪廓點(diǎn),基于力場(chǎng)分析的主動(dòng)輪廓

27、模型,真輪廓點(diǎn)的判定16對(duì)輪廓點(diǎn),基于力場(chǎng)分析的主動(dòng)輪廓模型,真輪廓點(diǎn)的判定斷點(diǎn),基于力場(chǎng)分析的主動(dòng)輪廓模型,真輪廓點(diǎn)的判定中心輪廓點(diǎn)、零點(diǎn)以及特殊輪廓點(diǎn),基于力場(chǎng)分析的主動(dòng)輪廓模型,假輪廓點(diǎn),基于力場(chǎng)分析的主動(dòng)輪廓模型,已更新輪廓點(diǎn) 將預(yù)更新輪廓中的假輪廓點(diǎn)用對(duì)應(yīng)輪廓點(diǎn)代替。更換后得到的新輪廓就是已更新輪廓。,實(shí)驗(yàn)結(jié)果與比較,進(jìn)入感興趣圖像的深凹部分克服局部極小點(diǎn)實(shí)際圖像的結(jié)果運(yùn)行時(shí)間比較,,實(shí)驗(yàn)結(jié)果與比較,進(jìn)入感興