唇讀發(fā)聲器中視覺(jué)信息的檢測(cè)與處理.pdf

1、為恢復(fù)那些后天致殘、但仍然具有正確唇彤特征語(yǔ)言殘障者的語(yǔ)音表達(dá)能力，探索建立一個(gè)基于視覺(jué)信息的唇形識(shí)別發(fā)聲系統(tǒng)，本研究把從嘴唇圖像序列中提取的視覺(jué)信息作為一種特殊語(yǔ)言加以分析識(shí)別。在研究中，對(duì)視覺(jué)信息檢測(cè)與處理中的一些基本問(wèn)題，如視覺(jué)信息與語(yǔ)音信息的對(duì)應(yīng)關(guān)系，嘴唇區(qū)域和唇形輪廓所包含的信息量，最佳唇讀系統(tǒng)特征向量的選取，以及自動(dòng)有效地提取與識(shí)別唇形特征的方法進(jìn)行了深入分析。 論文的主要研究?jī)?nèi)容包括： 1.通過(guò)分析正面和側(cè)

2、面視角下人臉圖像的特點(diǎn)，建立一種新的非對(duì)稱唇形輪廓描述模型，其中既包含嘴唇高度、寬度等信息，又包含嘴唇突出度信息，同時(shí)計(jì)算各個(gè)參數(shù)對(duì)時(shí)間的導(dǎo)數(shù)，來(lái)獲得唇形輪廓的動(dòng)態(tài)信息，通過(guò)組合不同的特征參數(shù)，分析參數(shù)選擇對(duì)識(shí)別效果的影響，基于獨(dú)立漢字發(fā)音的實(shí)驗(yàn)表明，該模型能夠?qū)⒆R(shí)別效果平均提高25％以上。并且據(jù)此模型設(shè)計(jì)建立了基于常用漢字、面向殘疾人的漢語(yǔ)雙模語(yǔ)音數(shù)據(jù)庫(kù)。 2.基于運(yùn)動(dòng)檢測(cè)和數(shù)學(xué)形態(tài)學(xué)方法對(duì)唇動(dòng)序列的灰度圖像進(jìn)行處理，得到唇形

3、區(qū)域和唇形輪廓，然后從唇形區(qū)域提取嘴唇寬度的投影W，外唇輪廓的高度H，嘴唇突出度的投影信息F，并且考察它們對(duì)時(shí)間的導(dǎo)數(shù)關(guān)系，得到dW/dt，dH/dt，dF/dt等差分特征參數(shù)，組合形成6維幾何特征向量。 3.利用離散傅里葉變換（DFT）和離散余弦變換（DCT）分別得到描述唇形輪廓特征的傅里葉描述子和離散余弦變換描述子，然后將兩類描述子作為唇形輪廓的特征向量，采用隱馬爾可夫模型（HMM）進(jìn)行學(xué)習(xí)和識(shí)別，分析了兩類描述子刻畫(huà)唇形輪