基于視覺(jué)的行人檢測(cè)和跟蹤技術(shù)的研究.pdf

1、在數(shù)字視頻處理和計(jì)算機(jī)視覺(jué)領(lǐng)域的各種應(yīng)用中,目標(biāo)的檢測(cè)和跟蹤是一個(gè)重要的,也是最基本的任務(wù).一些較流行的應(yīng)用包括自治車輛導(dǎo)航,機(jī)器人控制,基于運(yùn)動(dòng)的識(shí)別,視頻壓縮,基于視覺(jué)的控制,人機(jī)接口,醫(yī)學(xué)成像,增強(qiáng)現(xiàn)實(shí)和視頻場(chǎng)景監(jiān)控.盡管在計(jì)算機(jī)視覺(jué)領(lǐng)域,目標(biāo)的檢測(cè)和跟蹤技術(shù)已經(jīng)研究了十多年,但仍是一個(gè)活躍的研究領(lǐng)域.目前還沒(méi)有一個(gè)通用的,健壯的,精確的,高性能的和實(shí)時(shí)的目標(biāo)檢測(cè)和跟蹤算法.由于人體固有的一些特性,應(yīng)用場(chǎng)景的復(fù)雜性,人與人或人與環(huán)

2、境之間的相互影響,使得人體的檢測(cè)和跟蹤是計(jì)算機(jī)視覺(jué)研究領(lǐng)域中最難的一項(xiàng)挑戰(zhàn). 論文的重點(diǎn)及創(chuàng)新成果包括: 1.靜止攝像機(jī)情況下的自然場(chǎng)景中的行人檢測(cè)方法提出的行人檢測(cè)方法采用邊方向直方圖(Edge Orientation}tistogram:EOH)特征集和擴(kuò)展的Haar-like特征集的混合特征集.用基于查找表(Look-Up Table:LUT)的GentleAdaBoost學(xué)習(xí)算法來(lái)訓(xùn)練行人檢測(cè)器的每個(gè)節(jié)點(diǎn)分類器,

3、并提出一種基于級(jí)聯(lián)風(fēng)險(xiǎn)代價(jià)函數(shù)(Cascade risk cost function)的改進(jìn)算法,自動(dòng)根據(jù)級(jí)聯(lián)分類器的所需達(dá)到的總檢測(cè)目標(biāo)來(lái)確定每個(gè)節(jié)點(diǎn)的訓(xùn)練目標(biāo).用嵌套級(jí)聯(lián)(Nested Cascade)方法來(lái)學(xué)習(xí)行人檢測(cè)器的級(jí)聯(lián)結(jié)構(gòu),能提高檢測(cè)率并降低虛警率.根據(jù)這種方法得到的實(shí)驗(yàn)結(jié)果表明了這種方法的健壯性和有效性.這種方法的檢測(cè)準(zhǔn)確度高,檢測(cè)速度快.且能很好地把行人和其它運(yùn)動(dòng)目標(biāo)區(qū)別開(kāi),如正在行駛的小汽車. 2.基于特征變

4、換和支持向量機(jī)的分級(jí)行人檢測(cè)方法在攝像機(jī)安裝在一個(gè)自由移動(dòng)的平臺(tái)的環(huán)境里,如汽車,檢測(cè)行人變得非常困難,特別是當(dāng)行人所處的場(chǎng)景比較復(fù)雜時(shí).針對(duì)這種應(yīng)用環(huán)境,提出了一種應(yīng)用于單目移動(dòng)攝像機(jī)的基于特征變換和支持向量機(jī)(support Vector Machine,簡(jiǎn)稱SVM)的coarse-to-fine行人檢測(cè)方法.首先,用基于查找表(Look-up Table,簡(jiǎn)稱LUT)的Gentle AdaBoostCascade學(xué)習(xí)算法訓(xùn)練一個(gè)粗

5、級(jí)的行人檢測(cè)器.接著把粗級(jí)的行人檢測(cè)器的每一段分別作為一個(gè)特征,并用能通過(guò)粗級(jí)行人檢測(cè)器的正負(fù)樣本來(lái)訓(xùn)練基于SVM的精密級(jí)行人檢測(cè)器,最后,采用基于顏色和空間信息的時(shí)序分析方法進(jìn)一步提高行人檢測(cè)率和降低誤報(bào)率.從實(shí)驗(yàn)結(jié)果可以看出本算法的高效性. 3.基于部位的行人檢測(cè)系統(tǒng)針對(duì)單目移動(dòng)攝像機(jī)的情況,本論文還提出了一種coarse-to-fine的基于人體部位的行人檢測(cè)方法.本方法把一個(gè)人建模成人體自然部位的組裝,部位包括頭肩(he

6、ad-shoulder),軀干(torso),腿(leg).該行人檢測(cè)器采用絕對(duì)值Haar-like特征集和Edgelet特征集.在這些特征集上,用Soft Cascade學(xué)習(xí)算法訓(xùn)練各個(gè)部位檢測(cè)器和全身檢測(cè)器(full-body).在本算法中,首先由full-body檢測(cè)器產(chǎn)生行人候選.然后,基于貝葉斯決策的組合算法進(jìn)一步確定候選者中的行人.實(shí)驗(yàn)結(jié)果表明本算法有很好的檢測(cè)性能. 4.基于IMM和級(jí)聯(lián)數(shù)據(jù)關(guān)聯(lián)的3D人體跟蹤提出了

7、一種基于3D特征的人群跟蹤算法.該算法由一個(gè)兩階段的3D特征點(diǎn)的分組算法和一個(gè)健壯的基于3D特征點(diǎn)的跟蹤算法組成.兩階段的3D特征點(diǎn)的分組算法用基于核的ISODATA方法,即使有的行人在監(jiān)控區(qū)域被部分遮擋,該方法也能精確地檢測(cè)人.基于3D特征點(diǎn)的跟蹤算法結(jié)合了一個(gè)基于自適應(yīng)卡爾曼濾波的交互多模式(interacting multiple model:IMM)跟蹤算法和一個(gè)級(jí)連多信息數(shù)據(jù)關(guān)聯(lián)算法.IMM算法僅采用自適應(yīng)卡爾曼濾波和兩個(gè)動(dòng)力

8、學(xué)模型,能夠很好的跟蹤隨機(jī)走動(dòng)的人.一個(gè)動(dòng)力學(xué)模型是勻速直線模型(constant velocity model:CV),另一個(gè)是當(dāng)前統(tǒng)計(jì)模型(currentstatistics model:CS).級(jí)連多信息數(shù)據(jù)關(guān)聯(lián)算法采用了距離最近假設(shè),速度一致假設(shè)和灰度一致性假設(shè),能夠很好地去除人群之間的相互作用對(duì)人跟蹤性能造成的影響,能夠處理人數(shù)不固定的問(wèn)題.該跟蹤方法不僅能管理一條軌跡的產(chǎn)生和結(jié)束,而且能處理人與人之間的相互作用,并能跟蹤不規(guī)

9、則運(yùn)動(dòng)的人.用OMRON公司提供的圖像序列對(duì)本算法進(jìn)行驗(yàn)證,實(shí)驗(yàn)結(jié)果表明所開(kāi)發(fā)的算法對(duì)人與人之間的互相作用表現(xiàn)出了好的健壯性,且跟蹤準(zhǔn)確,運(yùn)算速度快,對(duì)幀采樣率變化不敏感,能跟蹤隨機(jī)行走的人,完全滿足于實(shí)時(shí)應(yīng)用場(chǎng)景. 5.基于IMM和多假設(shè)跟蹤的多個(gè)三維人體跟蹤算法提出了一種基于IMM和多假設(shè)跟蹤的多個(gè)三維人體跟蹤算法.采用交互多模式方法(interacting multiple model:IMM)進(jìn)行人體狀態(tài)的預(yù)測(cè),并采用多

10、假設(shè)跟蹤算法(multiple hypothesis tracking:MHT)把檢出的人體與已存在的軌跡進(jìn)行正確關(guān)聯(lián),能夠自動(dòng)地為新進(jìn)入監(jiān)控區(qū)的人產(chǎn)生新的人體軌跡,結(jié)束已走出監(jiān)控區(qū)的人的軌跡.同時(shí),在MHT算法中融入人體的速度連續(xù)性約束和灰度一致性約束來(lái)確定人體軌跡關(guān)聯(lián)區(qū)域和計(jì)算假設(shè)的置信度,能夠減少產(chǎn)生的假設(shè)數(shù)目,減少計(jì)算時(shí)間.實(shí)驗(yàn)結(jié)果表明所開(kāi)發(fā)的算法對(duì)人與人之間的互相作用表現(xiàn)出了好的健壯性,且跟蹤準(zhǔn)確,運(yùn)算速度快,對(duì)幀采樣率變化不

11、敏感,能跟蹤隨機(jī)行走的人,能適用于人群密集環(huán)境下的多人體跟蹤. 6.移動(dòng)攝像機(jī)情況下的基于MCMC和IMHT的行人跟蹤在計(jì)算機(jī)視覺(jué)中,為了實(shí)現(xiàn)對(duì)數(shù)目可變的行人進(jìn)行自動(dòng)跟蹤,就首先應(yīng)該準(zhǔn)確地檢測(cè)圖像序列中的行人.然而,由于行人檢測(cè)中存在的難點(diǎn),如行人的姿勢(shì),輪廓和外貌的多樣性及所處的雜亂背景和照明的影響,使得行人檢測(cè)結(jié)果并不十分好,存在著大量的漏檢和虛警.同時(shí),行人之間,行人與場(chǎng)景之間有時(shí)出現(xiàn)的部分遮擋或遮擋,對(duì)行人跟蹤而言也是一

12、個(gè)極大地挑戰(zhàn).為了解決上述問(wèn)題,采用了一種結(jié)合top-down和bottom-up的跟蹤方法,能自動(dòng)完成軌跡的初始化和終止.首先對(duì)行人進(jìn)行top-down跟蹤,即用基于Kalman particle filter(KPF)和Markov Chain Monte Carlo(MCMC)的方法估計(jì)行人的后驗(yàn)狀態(tài)；然后,用bottom-up的方法進(jìn)行跟蹤,即把檢測(cè)到的行人與存在的軌跡進(jìn)行基于多假設(shè)數(shù)據(jù)跟蹤方法(imultiple.hypoth