半連續(xù)hmm碼本生成算法的研究

1、人工智能及識(shí)別技術(shù)文章編號(hào)：文獻(xiàn)標(biāo)識(shí)碼：中圖分類號(hào)：TN912.34半連續(xù)半連續(xù)HMMHMM碼本生成算法的研究碼本生成算法的研究李軍，朱小燕，王東（清華大學(xué)智能技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京100084）摘要：要：本文對(duì)基于半連續(xù)隱馬爾科夫模型(SCHMM)語音識(shí)別系統(tǒng)的碼本生成算法及其原理進(jìn)行了探討。闡述了譯碼器擾動(dòng)簡(jiǎn)化隨機(jī)松弛聚類算法(SRD)，并將其應(yīng)用到初始碼本生成中。實(shí)驗(yàn)結(jié)果表明這種方法能顯著地提高系統(tǒng)性能。初始碼本生成后，采

2、用最大似然準(zhǔn)則對(duì)生成的碼本進(jìn)行了訓(xùn)練，使得碼本和SCHMM其它參數(shù)達(dá)到較好的一致。本文也探討了碼本大小及其對(duì)最終性能的影響并給出了相關(guān)實(shí)驗(yàn)結(jié)果。關(guān)鍵詞：關(guān)鍵詞：SCHMM，聚類，碼本，隨機(jī)松弛TheResearchofCodebookGenerationAlgithminSCHMMLiJunZhuXiaoyanWangDong(StateKeylabofIntelligentTechnologySystemTsinghuaUnivers

3、ityBeijing100084)【Abstract】ThispaperdiscussedthealgithmsofcodebookgenerationinSCHMMbasedspeechrecognitionsystemtheirfundamentalprinciple.IntroducingthebasicdisciplineofStochasticRelaxationDivision(SRD)algithmweintroduced

4、thegeneralideaintoourinitialcodebookgenerationalgithm.Theexperimentresultsshowthatournewmethodsignificantlyimprovesthesystemperfmance.WiththemodifiedinitialcodebookthemodelisfurthertrainedwiththecriterionofMaximumLikelih

5、ood(ML)whichleadsthecodebookotherparametersmeconsistentcompatible。Theeffectofcodebooksizetofinalperfmanceisalsodiscussedrelativeexperimentresultsarepresented.【Keywds】SCHMMclusteringcodebookStochasticrelaxationSCHMM作為一種有效

6、的語音識(shí)別技術(shù)，是離散隱馬爾科夫模型（DHMM）和連續(xù)隱馬爾科夫模型（CHMM）的一種折衷方案。它既克服了DHMM識(shí)別精度較低的缺點(diǎn)又降低了CHMM計(jì)算的復(fù)雜性，因而是一種相當(dāng)好的語音識(shí)別技術(shù)。SCHMM之所以能做到這一點(diǎn)，主要是因?yàn)镾CHMM使用了一組特殊的碼本。這組碼本由所有模型和所有狀態(tài)共享。它相當(dāng)于連接DHMM和CHMM的橋，是決定整個(gè)SCHMM系統(tǒng)性能的關(guān)鍵因素之一。碼本在SCHMM中的重要性集中反映在碼本的初值和數(shù)量上。好的

7、初值能夠總體上接近各模型的質(zhì)心，因而在調(diào)整碼本過程中收斂較快并且容易達(dá)到或接近全局最優(yōu)，相反，如果某個(gè)模型附近沒有碼本，它在調(diào)整碼本過程中對(duì)整個(gè)碼本調(diào)整趨勢(shì)的影響力降低以至于碼本更加遠(yuǎn)離它，自然地，碼本對(duì)這個(gè)模型的刻畫精度就低；如果某個(gè)碼本附近沒有模型，那么所有模型對(duì)該碼本的權(quán)重都較小以至于區(qū)別不大，這種情況造成的結(jié)果是該碼本的方差迅速減小，均值變化不大，它對(duì)整個(gè)模型的刻畫能力大大降低，從而成為垃圾碼本。因此，碼本初值的好壞對(duì)半連續(xù)模型

8、相當(dāng)重要。另外，由于碼本是所有模型和狀態(tài)共享的，多少碼本才能較好地刻畫整圍內(nèi)，也就是說，擾動(dòng)可以到達(dá)這些碼字。根據(jù)擾動(dòng)矢量設(shè)計(jì)規(guī)則，對(duì)i區(qū)域，可以表示為：0T=表示第一次最佳劃分的第i個(gè)0T??iiYYd112?，iY1區(qū)域的碼字，為i區(qū)域內(nèi)與畸變最大的矢量，iY1?iY1代表兩矢量間歐氏距離的平方。對(duì)每一個(gè)??yxd2區(qū)域做同樣的計(jì)算，選擇其中的最大者作為值，0T這樣能夠較好地保證有效的擾動(dòng)范圍，有利于下次區(qū)域劃分向理想碼字靠近。由于

9、以后的新區(qū)域都是經(jīng)過最佳劃分的，比前一次劃分的區(qū)域更加靠近理想碼字，需要擾動(dòng)的范圍也會(huì)比前一次小，因此按上式所給的初始退火溫度是夠用的。熄火溫度可根據(jù)精度要求給出。SRD算法見圖1。所求出的M個(gè)碼字可作為碼本的均值，然后再利用已求出的M個(gè)碼字對(duì)訓(xùn)練集進(jìn)行M個(gè)區(qū)域劃分，在每個(gè)區(qū)域計(jì)算均方差。從而可求得M個(gè)碼字的均方差。這樣M個(gè)碼字的初始碼本就形成了。2基于最大似然準(zhǔn)則的基于最大似然準(zhǔn)則的SCHMM碼本的訓(xùn)練碼本的訓(xùn)練初始碼本生成以后，對(duì)S

10、CHMM來說不是最好的，必須在SCHMM統(tǒng)一的框架下進(jìn)行訓(xùn)練，從而對(duì)初始碼本進(jìn)行適當(dāng)?shù)恼{(diào)整。調(diào)整碼本的過程也是語音訓(xùn)練的過程。利用訓(xùn)練中產(chǎn)生的參數(shù)來調(diào)整碼本的均值和方差。SCHMM中主要參數(shù)是：初始狀態(tài)概率狀態(tài)轉(zhuǎn)移概率碼本權(quán)重及碼本的均值和均方差。訓(xùn)練的目的就是調(diào)整這些參數(shù)，使特定模型相對(duì)于某些語音幀輸出的概率最大，從而完成識(shí)別的任務(wù)。訓(xùn)練的方法是給以上參數(shù)一定的初值，然后進(jìn)行迭代運(yùn)算逐漸逼近最佳解。在每次迭代中，所有模型都利用自己的訓(xùn)

11、練語料求出自身新的參數(shù)，然后計(jì)算碼本新的均值和方差。再進(jìn)行下一輪迭代，直到滿足精度要求為止。其中碼本的初值采用SRD算法已獲得，其它參數(shù)的初值可通過賦予平均數(shù)或根據(jù)具體情況賦值，因?yàn)檫@些參數(shù)的初值對(duì)迭代結(jié)果影響不大。計(jì)算SCHMM參數(shù)的一種有效方法是前后項(xiàng)算法。利用該算法可以高效地計(jì)算出前項(xiàng)系數(shù)和后項(xiàng)系數(shù)，而前后項(xiàng)系數(shù)是計(jì)算SCHMM參數(shù)的關(guān)鍵。下面給出與計(jì)算SCHMM的均值和方差相關(guān)的公式，在公式中所引用的變量包括：初始狀態(tài)概率狀態(tài)轉(zhuǎn)

12、移概率碼本權(quán)重lajiA碼本的均值均方差前項(xiàng)系數(shù)jBjMj?，后項(xiàng)系數(shù)，概率密度函數(shù)P(x)，模??ln???ln?型的狀態(tài)數(shù)L，k樣本語音幀數(shù)Nk。樣本數(shù)K，模型數(shù)R。碼本數(shù)J。計(jì)算計(jì)算θ值的公式：值的公式：?????????????????????????????????LikkrnkrnrnjljilrkrrjljkrlkljrNnliyPbAnlyPbn1111~21?????θ參數(shù)是計(jì)算SCHMM參數(shù)的中間結(jié)果，它的含義是r模

13、型第k個(gè)樣本第n幀經(jīng)過l狀態(tài)第j個(gè)碼字的概率。計(jì)算均值計(jì)算均值的公式的公式j(luò)M???????????????????????????KkRrLlkNnkljrkrnKkRrLlkNnkljrnynjM11111111??計(jì)算均方差計(jì)算均方差的公式：的公式：j?F圖1SRD算法流程圖算法流程圖NnTT?T以為初始碼字，進(jìn)行最佳劃??1?niY分并求出M個(gè)新碼字。??1?niY?生成擾動(dòng)，計(jì)算新碼字??niY???????nininiYYY