數(shù)字語音處理及matlab仿真

1、數(shù)字語音處理及MATLAB仿真,太原理工大學(xué)信息工程學(xué)院 張雪英編著College of Information Engineering, Taiyuan University of Technology,,,2,課程總括,,課程性質(zhì),1,,課程目的和任務(wù),2,,課程重點,3,,課程難點,4,課程性質(zhì),語音信號處理是通信、電子信息專業(yè)的選修課程，主要用于現(xiàn)代通信和電子信息領(lǐng)域，其主要前修專業(yè)基礎(chǔ)課程為信號與系統(tǒng)和數(shù)字信號處理。,課程

2、目的和任務(wù),通過本課程的學(xué)習(xí)理解語音發(fā)聲和聽覺機(jī)理及其數(shù)字模型；掌握語音信號處理的基本概念、原理和方法，為以后的學(xué)習(xí)提供理論依據(jù)；掌握語音信號的短時時域分析和頻域分析方法，并且能夠用Matlab語言編程實現(xiàn)對實際語音信號進(jìn)行的處理；熟悉語音信號處理的應(yīng)用領(lǐng)域，并了解該領(lǐng)域的新理論、新技術(shù)和發(fā)展趨勢，為今后的進(jìn)一步學(xué)習(xí)和工作打下堅實的基礎(chǔ)。,課程重點,語音信號的產(chǎn)生和語音信號數(shù)字模型。短時能量、平均過零率、自相關(guān)的意義，以及這些特征參量在

3、語音信號中的應(yīng)用，并且會用MATLAB實現(xiàn)。短時頻域分析的兩種解釋以及實現(xiàn)、LPC的基本原理以及與語音模型的關(guān)系、自適應(yīng)量化的PCM，自適應(yīng)預(yù)測編碼原理以及前饋和反饋的主要區(qū)別，另外增量調(diào)制中所造成的失真以及失真補(bǔ)償。矢量量化原理、LBG算法以及實驗。,課程難點,語音信號的產(chǎn)生和激勵、端點檢測和基音周期的估計、用數(shù)學(xué)公式來證明短時頻譜是如何反映整個語音信號的頻譜的、LPC方程組解法、自適應(yīng)預(yù)測編碼原理、LBG算法以及實驗中的分幀和基音周

4、期檢測。,第1章 緒論,,1.1 概述,1,,1.2 語音信號處理的發(fā)展,2,,1.3 語音信號處理的應(yīng)用及新方向,3,,1.4 語音信號處理過程的總體結(jié)構(gòu),4,,1.5 MATLAB在數(shù)字語音信號處 理中的應(yīng)用,5,語音信號處理是一門新興的邊緣學(xué)科，是語音學(xué)與數(shù)字信號處理兩個學(xué)科相結(jié)合的產(chǎn)物。它和認(rèn)知科學(xué)、心理學(xué)、語言學(xué)、計算機(jī)科學(xué)、模式識別和人工智能等學(xué)科有著緊密的聯(lián)系。 語音信號處理的目的： 得到某些語音

5、特征參數(shù)以便高效地傳輸或存儲； 通過某種處理運(yùn)算以達(dá)到某種用途的要求。,1.1 概述,語音信息的交換大致上可以分為三大類： （1）人與人之間的語言通信： 包括語音壓縮與編碼、語音增強(qiáng)等。 （2）第一類人機(jī)語言通信問題： 語音合成，機(jī)器講話、人聽話的研究。 （3）第二類人機(jī)語言通信問題：語音識別和理解

6、 語音識別和理解：人講話、機(jī)器聽話的情況。,突破進(jìn)展,系統(tǒng)論述語言產(chǎn)生的聲學(xué)理論,語譜圖儀問世,語譜圖語音，語音合成,1.2 語音信號處理的發(fā)展,,計算機(jī),1,貝爾電話的發(fā)明,,3,用聲學(xué)方法對元音和歌唱進(jìn)行了研究,,,,,,,,2,第一個聲碼器,1876年,1939年,19世紀(jì)60年代,4,20世紀(jì)40年代,1948年,6,7,,基礎(chǔ)研究方面,技術(shù)應(yīng)用領(lǐng)域,,,5,1.2 語音信號處理的發(fā)展,,,,1,語音合成,,,,3

7、,語音編碼,,,,,,,,,2,語音識別,語音編碼,1.2.1 語音合成,以語言信息壓縮、存儲為主要目的對語音信號數(shù)字模型進(jìn)行研究，同時研究音素、音節(jié)、詞組與句子的發(fā)音規(guī)則。最終恢復(fù)出自然流暢的語音來。例如文語轉(zhuǎn)換系統(tǒng)(Text-to-speech)。語音分析與合成將賦予計算機(jī)說話的功能。也是進(jìn)行話音編碼、語音識別研究的基礎(chǔ)。,1.2.2 語音編碼,語音編碼的目的： 在保證一定語音質(zhì)量的前提下，盡

8、可能降低編碼比特率，以節(jié)省頻率資源。,1.2.2 語音編碼,語音編碼與文本到語音轉(zhuǎn)換兩個主要區(qū)別 一、前者是人與人之間的話音交流，要保留說話人的聲音特征。后者是文本到聲音的轉(zhuǎn)換即計算機(jī)發(fā)聲。它可以是標(biāo)準(zhǔn)播音員或其它聲音。 二、前者不僅對壓縮率和音質(zhì)有要求，而且要求較低的編、解碼延遲。而后者對處理幀長沒有什么太嚴(yán)格的限制。,1.2.3 語音識別,研究如何使計算機(jī)能夠聽懂人類的語言。以漢語語音為例：漢

9、語約有400個音節(jié)，加上聲調(diào)約1200個音調(diào)節(jié)，把這些語音信號的特征存儲到計算機(jī)內(nèi)，并與計算機(jī)接收到的漢語發(fā)音進(jìn)行比較，找到特征相同的音節(jié)或音調(diào)節(jié)，這個過程就是語音識別。將識別出的音節(jié)序列轉(zhuǎn)換成文字，就是語言理解。許多算法將理解過程溶入到識別中來提高識別的準(zhǔn)確性。因此可以將語音識別與理解歸入同一類應(yīng)用。,語音識別研究領(lǐng)域包括： （1）根據(jù)對說話人說話方式的要求，可以分為孤立字語音識別系統(tǒng)，連接字語音識別系統(tǒng)以及連續(xù)語音識別系統(tǒng)

10、。 （2）根據(jù)對說話人的依賴程度可以分為特定人和非特定人語音識別系統(tǒng)。 （3）根據(jù)詞匯量大小，可以分為小詞匯量、中等詞匯量、大詞匯量以及無限詞匯量語音識別系統(tǒng)。,1.3 語音信號處理的應(yīng)用及新方向,語音技術(shù)的應(yīng)用領(lǐng)域 包括語音識別、說話人的鑒別和確認(rèn)、語種的鑒別和確認(rèn)、關(guān)鍵詞檢測和確認(rèn)、語音合成、語音編碼等。 但其中最具有挑戰(zhàn)性和最富有應(yīng)用前景的為語音識別技術(shù)。,一：語音信號處理的應(yīng)用,1. 說話

11、人識別技術(shù)的應(yīng)用 安全加密、銀行信息電話查詢服務(wù) 公安機(jī)關(guān)破案和法庭取證方面 在聲控應(yīng)用中，識別輸入的語音內(nèi)容，并根據(jù)內(nèi)容來執(zhí)行相應(yīng)的動作，這包括了聲控電話轉(zhuǎn)換、聲控語音撥號系統(tǒng)、聲控智能玩具、信息網(wǎng)絡(luò)查詢、家庭服務(wù)、賓館服務(wù)、旅行社服務(wù)系統(tǒng)、醫(yī)療服務(wù)、股票查詢服務(wù)和工業(yè)控制等。,1. 說話人識別技術(shù)的應(yīng)用 在電話與通信系統(tǒng)中，智能語音接口正在把電話機(jī)從一個單純的服務(wù)工具變成為一個

12、服務(wù)的“提供者”和生活“伙伴”。 目前，自動口語分析、用戶交換機(jī)、電話機(jī)、手機(jī)已經(jīng)包含了語音識別撥號功能，還有語音記事本、語音智能玩具等產(chǎn)品也包含了語音識別與語音合成功能。人們可以通過電話網(wǎng)絡(luò)用語音識別口語對話系統(tǒng)查詢有關(guān)的機(jī)票、旅游、銀行信息。,2. 語音合成的應(yīng)用 公交汽車上的自動報站、各種場合的自動報時、自動報警、手機(jī)查詢服務(wù)和各種文本校對中的語音提示、在電信聲訊服務(wù)：如股票、售

13、后服務(wù)、車站查詢等信息；也可用于基于微型機(jī)的辦公、教學(xué)、娛樂等智能多媒體軟件，例如語言學(xué)習(xí)、教學(xué)軟件、語音玩具、語音書籍等；也可與語音合成技術(shù)與機(jī)器翻譯技術(shù)結(jié)合，實現(xiàn)語音翻譯等。,3. 語音編碼的應(yīng)用 在移動通信、衛(wèi)星通信、軍事保密通信、信息高速公路和IP電話通信中的應(yīng)用。 在個人移動通信、語音存儲、多媒體通信、數(shù)字?jǐn)?shù)據(jù)網(wǎng)(DDN)中的應(yīng)用。 未來的ISDN、衛(wèi)星

14、通信、移動通信、微波接力通信和信息高速公路以及保密電話等中的應(yīng)用。,二、語音信號處理的新方向 （1）基于語音的信息檢索。網(wǎng)絡(luò)技術(shù)及數(shù)字圖書館 技術(shù)的發(fā)展，基于語音識別的信息檢索技術(shù)正成為研究熱點。 （2）基于語音識別的廣播新聞的自動文摘技術(shù)的研究。由于廣播、電視中的發(fā)音較為標(biāo)準(zhǔn)規(guī)范，在識別中避免了說話人發(fā)音上的不規(guī)范，有利于語音識別系統(tǒng)性能的提高。,二、語音信號處理的新方向 （3）VoIP技術(shù)。是通過TCP/IP網(wǎng)絡(luò)，而不是

15、傳統(tǒng)的電話網(wǎng)絡(luò)來傳輸語音的新的通信方式，通常稱之為IP電話技術(shù)。在網(wǎng)絡(luò)上對壓縮的語音數(shù)據(jù)以數(shù)據(jù)包的形式進(jìn)行傳輸和識別。 （4）語音訓(xùn)練與校正技術(shù)?，F(xiàn)在越來越多的人希望掌握其他非母語語言，以便方便的進(jìn)行交流。因此語言學(xué)習(xí)機(jī)已成為當(dāng)今外語學(xué)習(xí)者的有利工具。,二、語音信號處理的新方向 （5）語種識別。是近年來新出現(xiàn)的研究方向，通過分析處理一個語音片斷來判別其所屬語音的種類，本質(zhì)上屬于語音識別的研究范疇。 （6）基于語音的情感處

16、理研究。在人與人的交流中，除了語音信息外，非語言信息也起著重要的作用。為了使人機(jī)交流更自然、更人性化，基于語音的情感處理研究也是非常必要的。,1.4 語音信號處理過程的總體結(jié)構(gòu),圖1.1 信號處理和加工的一般示意圖,信號提取與利用,信號變換,信號表示,觀察與測量,信號源,,,,,信息加工和處理的一般流程如圖1.1所示,,語音輸入,預(yù)處理,數(shù)字化,特征提取,,,,合成,傳輸,,參考模式庫,模式匹配,識別結(jié)果,,壓縮處理,,,,,,,,

17、識別,訓(xùn)練,語音識別,解壓縮,存儲,語音輸出,,,,,,,,,,圖1.2 語音處理過程的結(jié)構(gòu)框圖,,,,,,語音處理過程的結(jié)構(gòu)框圖,1.5 MATLAB在數(shù)字語音信號處理中的應(yīng)用,數(shù)字語音信號處理是將數(shù)字信號處理與語音學(xué)相結(jié)合，解決現(xiàn)代通信領(lǐng)域中人與人、人與機(jī)器之間的信息交流的學(xué)科。 MATLAB是一種功能強(qiáng)大、效率高、交互性好的計算機(jī)高級語言。 近年來MATLAB已成為學(xué)習(xí)語音信號

18、處理和進(jìn)行研究工作的仿真軟件工具。,MATLAB在數(shù)字語音信號中的幾方面應(yīng)用： （1）通過MATLAB可以對數(shù)字化的語音信號進(jìn)行時頻域分析。 （2）通過MATLAB可以對數(shù)字化的語音信號進(jìn)行估計和判別。 （3）通過利用MATLAB編程對語音信號進(jìn)行處理 本書中的程序?qū)嵗肕ATLAB語言編寫，供大家上機(jī)實踐時參考。,數(shù)字語音信號處理研究內(nèi)容,涉及三

19、方面相互密切配合的任務(wù)和課題：1. 應(yīng)用2. 基礎(chǔ)理論和算法3. 硬件系統(tǒng),1. 應(yīng)用方面,通信產(chǎn)業(yè)起源于1874年電話的發(fā)明。從那時起，通信產(chǎn)業(yè)大致發(fā)生了三次重大變革。 （1）第一次變革產(chǎn)生于七十年代初。1972年CCITT組織公布了第一個語音編碼標(biāo)準(zhǔn)G.711。即對數(shù)PCM編碼，由此開始，數(shù)字程控交換網(wǎng)絡(luò)逐步淘汰了傳統(tǒng)的模擬交換傳輸方式。,（2）第二次重大變革產(chǎn)生于八十年代末。1988年歐共體13個國家數(shù)字移動特別

20、工作組(GSM)制定了采用長時預(yù)測規(guī)則碼激勵的編碼標(biāo)準(zhǔn)(13k bps RPE-LTP)。 1989年美國蜂窩通信工業(yè)協(xié)會(CITA)宣布了北美數(shù)字移動通信話音編碼標(biāo)準(zhǔn)(8K bps矢量和激勵VSELP)。從而確立了全球范圍第二個傳輸網(wǎng)移動通信產(chǎn)業(yè)的崛起。,（3）第三次變革發(fā)生在世紀(jì)之交。以新興的計算機(jī)因特網(wǎng)為基礎(chǔ)的信息高速公路在全世界范圍迅速發(fā)展。如何在INTERNET網(wǎng)上有效地傳輸話音成為產(chǎn)業(yè)界關(guān)注的焦點。IP電話將使因

21、特網(wǎng)成為第三個話音通信傳輸網(wǎng)。目前IP電話所用的話音編碼標(biāo)準(zhǔn)有G.723.1、G.728、G.729等。這些標(biāo)準(zhǔn)各有長短。人們正在努力研究適合IP電話的新的編碼算法。低延遲、低碼率、低復(fù)雜性、高音質(zhì)的話音編碼算法將是未來IP電話網(wǎng)絡(luò)的奠基石。,2. 基礎(chǔ)理論和算法方面,從以下方面進(jìn)行： （1）語音產(chǎn)生的機(jī)理（發(fā)音）和感知機(jī)理（聽） 涉及心理學(xué)、語音學(xué)、語言學(xué)、認(rèn)知學(xué)、神經(jīng)生理學(xué)等。

22、 （2）將語音作為一種信號來處理 常用方法: 數(shù)字濾波器（FIR、IIR）；快速付里葉變換（FFT）； 線性預(yù)測編碼（LPC）；同態(tài)信號處理等。 新的方法：神經(jīng)網(wǎng)絡(luò)、矢量量化、子波變換等,3. 硬件方面,硬件系統(tǒng)主要體現(xiàn)在內(nèi)存容量和計算速度上。語音信號處理器的運(yùn)算速度一般為10~20MIPS(Million Instructions Per Second)，有的可達(dá)50MIPS或100