基于MLBP-TOP與光流多特征的人臉表情融合識別研究.pdf

1、近年來，隨著人們對人機交互興趣的增加，表情識別逐漸成為一個研究熱點。人臉表情識別是指利用計算機分析特定人的臉部表情及變化，進而確定其內(nèi)心情緒或思想活動，實現(xiàn)人機之間更自然更智能化的交互。人臉表情識別的研究對于增強計算機的智能化和人性化，開發(fā)新型人機環(huán)境，以及推動心理學等學科的發(fā)展，有著重要的現(xiàn)實意義，并最終產(chǎn)生很大的經(jīng)濟效益和社會效益。
　　 本文首先綜述課題的研究背景，并分析目前國內(nèi)外已提出的主流人臉表情識別方法。在綜合分析了

2、以往的表情識別方法的基礎上，本文主要研究了人臉表情特征提取、融合特征識別過程中的一些關鍵問題，提出了一些改進方法，并通過實驗進行了有效性驗證。本文的主要工作如下：
　　 (1)提出了基于MLBP-TOP的表情特征提取方法。該方法對基本LBP-TOP特征算子進行改進，根據(jù)LBP-TOP中不同平面表情信息的差異性，三個交面的特征被劃為兩類，分別采用差分二元局部模式和中心化二元模式，以提取表情的時域信息和梯度信息，作為混合二元局部模式

3、MLBP-TOP(Mixed Local BinaryPatterns From Three Orthogonal Panels)特征。
　　 (2)提出了基于自動標注特征點的光流特征提取方法。該方法通過Harris角點檢測方法檢測人臉圖像的左右嘴角點，Robert算子和水平投影法檢測上下唇角點，通過曲線擬合方法擬合出四個新的角點，以這些點作為Lucas-Kanade光流法跟蹤的源點，計算嘴巴子區(qū)域的光流場，并對所有特征點進行跟

4、蹤，將所有點的水平和垂直位移大小作為特征向量。
　　 (3)提出了基于多特征與多離散HMMs的人臉表情融合識別方法。由于表情圖像中各個表情區(qū)域?qū)ψR別每類表情的貢獻不同，該方法對于眼睛眉毛區(qū)域采用MLBP-TOP提取紋理特征，對于嘴巴區(qū)域采用自動標注特征點的光流法提取形狀變化特征，同時在表情樣本訓練時采用貢獻分析法分析確定不同表情區(qū)域特征對六種表情各自的貢獻權值；在分類識別階段，首先分別采用離散HMMs對每個區(qū)域計算表情概率，最后