基于面部視頻的疲勞狀態(tài)分析與理解.pdf

1、疲勞駕駛已經(jīng)成為引發(fā)交通事故的重要原因，對(duì)駕駛疲勞的檢測(cè)是人機(jī)交互、計(jì)算機(jī)視覺(jué)等領(lǐng)域的重要研究?jī)?nèi)容。基于面部視頻的疲勞狀態(tài)分析與理解的目的就是要賦予計(jì)算機(jī)一定程度的對(duì)人類(lèi)疲勞狀態(tài)分析與理解的能力。 多數(shù)已有的疲勞識(shí)別方法本質(zhì)上利用疲勞的單個(gè)面部圖像中的視覺(jué)特征進(jìn)行識(shí)別，是基于空間信息的方法。這些方法沒(méi)有建模疲勞的運(yùn)動(dòng)特性，對(duì)視頻中一幀一幀的圖像進(jìn)行識(shí)別沒(méi)有利用時(shí)間上的信息。論文在總結(jié)分析已有方法的基礎(chǔ)上，在基于面部視頻的疲勞分析

2、和理解的幾個(gè)方面提出了若干創(chuàng)新性想法，并給出了令人滿(mǎn)意的實(shí)驗(yàn)結(jié)果。本文的主要貢獻(xiàn)和創(chuàng)新點(diǎn)包括： (1)在基于面部圖像的疲勞分析中，針對(duì)疲勞時(shí)面部的3類(lèi)表現(xiàn)特征，分別提出了新的分析理解方法。 眼部的閉合、打哈欠和整臉的一些表現(xiàn)是疲勞最主要的表現(xiàn)信息，論文結(jié)合相應(yīng)疲勞表現(xiàn)的特點(diǎn)分別提出了新的分析方法。嘴部的高度、寬度等幾何特征是打哈欠分析常用的特征。針對(duì)幾何特征使用的部分特征點(diǎn)難于定位，考慮到嘴角的紋理同樣包含豐富的打哈欠信

3、息，論文提出了一種利用嘴角的紋理特征檢測(cè)打哈欠的新方法。眼部張開(kāi)的程度是現(xiàn)有眼睛閉合分析中比較常用的特征，它要求比較精確的眼部特征點(diǎn)定位，事實(shí)上此時(shí)眼部的紋理也有明顯的變化。結(jié)合紋理描述算子Local Binary Pattern(LBP)，論文提出了一種基于眼部紋理特征AdaBoosted LBP判定眼睛閉合的方法。多數(shù)疲勞檢測(cè)提取面部的局部特征來(lái)分析，但疲勞的一些表現(xiàn)如面無(wú)表情等很難用局部的特征進(jìn)行刻畫(huà)。論文提出了一種基于臉部全局特

4、征AdaBoosted PCA判定駕駛員疲勞的方法。實(shí)驗(yàn)結(jié)果表明，論文提出的幾種算法以較小的計(jì)算代價(jià)獲得了較高的識(shí)別性能。 (2)在基于面部圖像的疲勞分析中，針對(duì)單個(gè)視覺(jué)線(xiàn)索存在的不確定性，提出了兩種融合多個(gè)面部疲勞視覺(jué)線(xiàn)索的方法。 Bayesian Networks(BNs)是處理不確定信息的一個(gè)有效工具，論文在決策層采用基于BNs的概率模型融合嘴部和眼部的視覺(jué)線(xiàn)索來(lái)判定駕駛員是否疲勞。由于BNs融合的多個(gè)視覺(jué)線(xiàn)索，要

5、求這些視覺(jué)線(xiàn)索是條件獨(dú)立的，在有些條件下不滿(mǎn)足這樣的條件，或者比較難于判定多個(gè)視覺(jué)線(xiàn)索是否條件獨(dú)立，因此論文進(jìn)一步考慮利用Linear Discriminant Analysis(LDA)融合眼部、嘴部和臉部的視覺(jué)線(xiàn)索來(lái)判別疲勞。試驗(yàn)結(jié)果顯示BNs和LDA融合的方法較單個(gè)的視覺(jué)線(xiàn)索都獲得了更加魯棒、可靠和準(zhǔn)確的疲勞指標(biāo)。 (3)在基于視頻圖像序列的疲勞分析中。為了表現(xiàn)疲勞的動(dòng)態(tài)特性，提出了兩種面部動(dòng)態(tài)疲勞特征。 疲勞表現(xiàn)

6、出的動(dòng)態(tài)信息是疲勞最本質(zhì)、最重要的信息。為了表現(xiàn)駕駛員疲勞的動(dòng)態(tài)特性，論文從面部圖像序列中提取了兩種動(dòng)態(tài)疲勞特征進(jìn)行分析?？紤]到單個(gè)面部圖像具有較高的維數(shù)，圖像序列的維數(shù)會(huì)增加更多。因此要提取圖像序列的特征，首先要得到單個(gè)圖像的低維表示。論文采用PrincipalComponent Analysis(PCA)方法獲得圖像序列中每個(gè)圖像的低維表示，在面部圖像序列的低維表示的基礎(chǔ)上通過(guò)組合、編碼等操作獲得面部疲勞的動(dòng)態(tài)特征。試驗(yàn)結(jié)果顯示論文

7、提出的動(dòng)態(tài)特征較對(duì)比的靜態(tài)特征取得了更好的識(shí)別效果。 (4)在基于面部視頻圖像序列的疲勞分析中，為了表示疲勞的多尺度特性，提出了兩類(lèi)面部多尺度動(dòng)態(tài)疲勞特征：多尺度的動(dòng)態(tài)LBP特征、多尺度的動(dòng)態(tài)Gabor特征。 疲勞時(shí)不同的面部表現(xiàn)具有不同的尺度，疲勞分析的現(xiàn)有研究中還沒(méi)有關(guān)注疲勞的多尺度特性。為了表現(xiàn)駕駛員面部疲勞動(dòng)態(tài)和多尺度的特性，論文提出了一種疲勞的面部多尺度動(dòng)態(tài)LBP特征。這種特征對(duì)原始的LBP進(jìn)行了兩個(gè)方面的擴(kuò)展

8、：利用Gabor小波處理，對(duì)LBP進(jìn)行多尺度上的擴(kuò)展：通過(guò)構(gòu)建動(dòng)態(tài)單元對(duì)LBP進(jìn)行動(dòng)態(tài)上的擴(kuò)展。進(jìn)一步，論文基于Gabor小波和特征融合從面部圖像序列中提取了兩種面部多尺度動(dòng)態(tài)Gabor特征用于檢測(cè)疲勞。這兩種特征在提取的過(guò)程中不僅考慮了疲勞的動(dòng)態(tài)、多尺度的特性，而且在對(duì)特征處理的過(guò)程中考慮了原始的疲勞特征在方向上的關(guān)系特性。對(duì)面部視頻圖像序列中的疲勞，兩類(lèi)面部多尺度動(dòng)態(tài)特征均取得了令人滿(mǎn)意的識(shí)別性能。 進(jìn)一步的研究需要在面部動(dòng)