基于動態(tài)貝葉斯網(wǎng)絡(luò)的人面部運(yùn)動識別方法研究.pdf

1、使計(jì)算機(jī)按人類自然形成的溝通認(rèn)知習(xí)慣和形式理解人們的情感是人機(jī)交互的發(fā)展方向。人面部運(yùn)動承載著豐富的情感信息。人面部運(yùn)動分析包括人臉特征點(diǎn)檢測、面部運(yùn)動單元（AU）識別和人臉表情識別等，是計(jì)算機(jī)理解人類情感的前提，得到了廣泛關(guān)注并積累了大量研究成果。但大量測試實(shí)踐經(jīng)驗(yàn)表明：非理性條件下人面部運(yùn)動分析技術(shù)還遠(yuǎn)未成熟。特別是真實(shí)場景中尺度、表觀和光照的變化造成的圖像觀測值不確定性、自然人之間的差別以及訓(xùn)練數(shù)據(jù)的稀缺給人面部運(yùn)動分析研究帶來了

2、極大挑戰(zhàn)。本文針對上述問題進(jìn)行了深入研究，包括自然人AU強(qiáng)度識別、不同層面部運(yùn)動間相互作用關(guān)系分析、建模和知識驅(qū)動模型訓(xùn)練方法。本文主要研究工作包括：
　　研究了基于動態(tài)貝葉斯網(wǎng)絡(luò)（DBN）的AU之間及AU強(qiáng)度之間動靜態(tài)依存關(guān)系建模方法。針對當(dāng)前人面部運(yùn)動識別領(lǐng)域大部分研究只識別二值A(chǔ)U，極少數(shù)識別AU強(qiáng)度的工作也忽略了AU強(qiáng)度之間相互作用關(guān)系和時序關(guān)系的問題，本文提出了基于DBN的自然人AU強(qiáng)度識別統(tǒng)一概率模型。該方法主要包含A

3、U強(qiáng)度觀測值提取和DBN推理兩步驟，即采用Gabor特征和HOG特征與支持向量機(jī)（SVM）的組合來提取AU強(qiáng)度觀測值，在此基礎(chǔ)上，采用DBN系統(tǒng)地建模、表示AU之間及AU強(qiáng)度之間的動靜態(tài)依存關(guān)系，并和圖像觀測值相結(jié)合，通過DBN概率推理識別AU強(qiáng)度。實(shí)驗(yàn)表明，所提出的方法能提高AU強(qiáng)度識別精度。
　　提出了基于DBN的人臉特征點(diǎn)追蹤和表情識別模型。人面部運(yùn)動分析自下而上包括面部特征點(diǎn)追蹤、AU識別和六種典型表情識別?，F(xiàn)有研究通常只

4、集中于人面部運(yùn)動的一或兩層，信息流自下而上，忽略了不同層人面部運(yùn)動之間的相互作用關(guān)系及自上而下的信息流。針對這一問題，本文采用DBN系統(tǒng)地、統(tǒng)一地建模、表示不同層面部運(yùn)動的演變過程及相互作用關(guān)系。采用組合節(jié)點(diǎn)來建模AU組合相關(guān)性，大大降低了模型計(jì)算復(fù)雜度。根據(jù)鑲嵌于DBN模型中的條件獨(dú)立性，局部地訓(xùn)練DBN模型以減少訓(xùn)練數(shù)據(jù)數(shù)量。得到圖像觀測值，通過DBN概率推理同時識別三層人面部運(yùn)動。和其他方法相比，所提出的模型中信息流不僅自下而上，

5、而且自上而下，即不僅面部特征點(diǎn)追蹤結(jié)果作用于AU識別和表情識別，AU識別和表情識別結(jié)果也幫助提高特征點(diǎn)追蹤表現(xiàn)。
　　提出了一種領(lǐng)域知識驅(qū)動模型訓(xùn)練方法?；谙闰?yàn)?zāi)Ｐ偷娜嗣娌窟\(yùn)動識別方法可以很好地處理圖像觀測值不確定性等問題，但其應(yīng)用瓶頸為訓(xùn)練過程需要大量有代表性的訓(xùn)練數(shù)據(jù)，并且泛化能力差。為解決這一問題，本文研究了基于領(lǐng)域知識的先驗(yàn)?zāi)Ｐ陀?xùn)練方法。通過研究面部動作編碼系統(tǒng)及面部解剖學(xué)中面部肌肉運(yùn)動相互作用關(guān)系，提取人面部運(yùn)動領(lǐng)域的