唇讀中的特征提取、選擇與融合.pdf

1、唇讀是利用計(jì)算機(jī)來識(shí)別唇動(dòng)序列的一門技術(shù)，它涉及到模式識(shí)別、人工智能、圖像處理等多個(gè)領(lǐng)域。本文主要研究了單視覺通道下，唇讀中的特征提取、選擇與融合，主要研究工作包括：
　　1.在特征提取方面，分析了流形學(xué)習(xí)這種非線性的特征提取方法在唇讀中的應(yīng)用。為了有效提取出唇動(dòng)過程中的本質(zhì)特征，本文分析了兩種流形學(xué)習(xí)方法(Isomap和局部線性內(nèi)嵌(LLE))在唇讀中的應(yīng)用。最初提出的Isomap和LLE方法對(duì)于訓(xùn)練集以外的新樣本沒有一種好的方

2、法能找到其內(nèi)嵌表示，本文提出了基于核的Isomap和LLE方法，實(shí)驗(yàn)結(jié)果表明，利用流形這種非線性特征提取方法達(dá)到的識(shí)別性能雖然要低于傳統(tǒng)的基于線性的特征提取方法，但通過流形學(xué)習(xí)得到的低維內(nèi)嵌相比于傳統(tǒng)的方法更能夠反映出唇動(dòng)的本質(zhì)特征。
　　2.在特征選擇方面，提出了一種基于AdaBoost的最優(yōu)Gabor核選擇算法。Gabor變換因其良好的識(shí)別性能在模式識(shí)別領(lǐng)域得到了較高的認(rèn)可。但利用Gabor變換提取出來的特征維數(shù)太高，導(dǎo)致所需

3、訓(xùn)練樣本的個(gè)數(shù)顯著增加，限制了其在唇讀中的應(yīng)用?？紤]到嘴唇區(qū)域的表觀對(duì)稱性和Gabor核函數(shù)的方向性，本文提出了一種基于AdaBoost的最優(yōu)Gabor核選擇算法。提出的方法首先將嘴唇區(qū)域?qū)ΨQ地劃分成四個(gè)子塊，在每個(gè)子塊上利用AdaBoost自適應(yīng)的選擇具有最優(yōu)判別能力的Gabor核函數(shù)。實(shí)驗(yàn)表明，所選擇的Gabor核函數(shù)與嘴唇區(qū)域的表觀具有一致的方向性。最終產(chǎn)生的特征向量的維數(shù)明顯降低，達(dá)到了優(yōu)于傳統(tǒng)方法的性能。
　　3.在特征

4、融合方面，提出了一種在分類器級(jí)融合全局特征和局部特征的方法。在過去的文獻(xiàn)中，大量的基于像素的特征提取方法被提出來。傳統(tǒng)的特征提取方法只利用了全局特征或局部特征。然而一些心理學(xué)的研究表明，人類在識(shí)別物體時(shí)，不僅利用了全局特征也利用了局部特征，并且在從局部分析物體之前先利用了全局特征?；谶@些研究，本文提出了一種在分類器級(jí)融合全局與局部特征的方法，全局分類器利用離散傅里葉變換(DFT)來提取全局特征，局部分類器利用分塊的Gabor小波變換來