口型識(shí)別與唇讀算法研究.pdf

1、人類對(duì)語(yǔ)言的感知是多通道的，聽(tīng)力正常者在交談的過(guò)程中也無(wú)意識(shí)的使用唇動(dòng)、表情等視覺(jué)信息以輔助聽(tīng)覺(jué)能力。對(duì)于聽(tīng)力障礙者或噪聲環(huán)境下的語(yǔ)言感知，視覺(jué)信息顯得更加重要。計(jì)算機(jī)唇讀技術(shù)正是在這樣的背景下應(yīng)運(yùn)而生，它是指對(duì)說(shuō)話者的口型變化等視頻信息進(jìn)行分析而識(shí)別出說(shuō)話內(nèi)容的過(guò)程。該技術(shù)涉及計(jì)算機(jī)視覺(jué)、人機(jī)交互、圖像處理、模式識(shí)別等諸多領(lǐng)域，被廣泛應(yīng)用于與語(yǔ)音信息融合以提高識(shí)別率，也用于公共安全領(lǐng)域、生物特征識(shí)別和口型合成等。
　　本文主要研

2、究單視覺(jué)通道下基于孤立漢語(yǔ)字的唇讀系統(tǒng)，從唇部區(qū)域檢測(cè)、唇區(qū)特征提取及唇讀訓(xùn)練和識(shí)別三方面展開(kāi)研究，主要工作及創(chuàng)新如下:
　　(1)在唇部區(qū)域檢測(cè)模塊，詳細(xì)介紹了基于Viola-Jones的檢測(cè)方法，該方法利用Haar like矩形特征作為特征模板，以Adaboost算法訓(xùn)練特征值，并用級(jí)聯(lián)的方式得到強(qiáng)分類器以實(shí)現(xiàn)檢測(cè)。本文將其用于人臉和唇區(qū)的檢測(cè)，檢測(cè)正確率達(dá)到了97％，為下一步處理打下了良好的基礎(chǔ)。
　　(2)特征提取是

3、唇讀技術(shù)的核心。本文提出了一種基于像素的4階段級(jí)聯(lián)的特征提取方法。該方法首先對(duì)唇區(qū)圖像進(jìn)行圖像變換，接著針對(duì)不同的圖像變換結(jié)果采用合適的方法選取需要的數(shù)據(jù)，然后進(jìn)行數(shù)據(jù)降維，最后對(duì)降維后數(shù)據(jù)實(shí)現(xiàn)矢量量化，得到最終特征向量。實(shí)驗(yàn)結(jié)果表明該方法與單獨(dú)使用基于像素的方法相比特征向量維度大大降低，DCT-PCA和DWT-PCA方法的最高識(shí)別率分別達(dá)到了72.8％和77.4％。
　　(3)唇讀訓(xùn)練和識(shí)別模塊，分析了HMM模型用于唇讀識(shí)別的可

4、行性，對(duì)將HMM應(yīng)用于唇讀時(shí)所面臨的模型類型選取、初始參數(shù)選擇等具體問(wèn)題做了詳細(xì)的說(shuō)明，并給出了利用HMM進(jìn)行唇讀訓(xùn)練和識(shí)別的過(guò)程，最后通過(guò)實(shí)驗(yàn)建立了合理的唇讀HMM模型。
　　(4)唇讀數(shù)據(jù)庫(kù)是進(jìn)行唇讀研究的基礎(chǔ)。文章研究了國(guó)內(nèi)外現(xiàn)有的一些數(shù)據(jù)庫(kù)，分析了它們的語(yǔ)料和規(guī)格，并建立了適合本文研究的數(shù)據(jù)庫(kù)。自建數(shù)據(jù)庫(kù)選取了漢語(yǔ)中常用的37個(gè)漢字，有3女2男共5名發(fā)音者，每人對(duì)每個(gè)字發(fā)音10遍，并對(duì)錄制的視頻資料進(jìn)行了唇區(qū)提取等后期處理