唇讀技術(shù)的研究與實現(xiàn).pdf

1、隨著多模態(tài)融合識別技術(shù)的飛速發(fā)展，唇讀技術(shù)作為模式識別領(lǐng)域中的熱點問題得以關(guān)注。唇讀技術(shù)與指紋識別、虹膜識別、視網(wǎng)膜識別等相比，具有更加直接、便捷、適時的特點。唇讀技術(shù)是新的人機交互模式的發(fā)展方向，是具有挑戰(zhàn)性的研究課題。
　　 本文在充分地了解唇讀技術(shù)發(fā)展現(xiàn)狀的基礎(chǔ)上，構(gòu)造了一個完整的唇讀識別框架。具體內(nèi)容是：將獲取的視頻文件轉(zhuǎn)換成幀圖像序列；對每幅靜態(tài)幀圖像進行預(yù)處理操作，即進行人臉檢測和定位，實現(xiàn)唇部與人臉的分離；對唇形圖

2、像進行特征提取生成唇形識別特征向量；然后，使用模板匹配分類器和k近鄰分類器實現(xiàn)唇形識別；最后，根據(jù)唇形識別結(jié)果，獲得連續(xù)唇形所表述的語音內(nèi)容，從而實現(xiàn)唇讀。本文著眼于解決唇讀識別過程中遇到的若干關(guān)鍵問題，從視頻圖像獲取到實現(xiàn)唇讀的整個過程進行了研究。在特征提取階段，使用彈性模板參數(shù)為特征，曲線擬合算法為手段，生成唇形模式特征矢量。在唇形分類階段，使用聚類可視化趨勢方法確定聚類數(shù)目，解決了傳統(tǒng)聚類算法缺少啟發(fā)式知識的問題；同時，首次提出用