第三章多媒體技術(shù)應(yīng)用

1、1,第 3 章多媒體技術(shù)應(yīng)用,2,本章概要,多媒體技術(shù)的基本含義、組成 音頻、視頻信號的處理 圖像處理技術(shù) 動畫處理技術(shù) 視頻信息處理技術(shù),,3,多媒體技術(shù)使計算機具備了綜合處理文字、聲音、圖像和視頻等信息的能力。它以形象豐富的文、聲、圖等信息以及方便的交互性，極大的改善了人機界面，改變了人們使用計算機的方式，從而為計算機進入人類日常生活和生產(chǎn)領(lǐng)域打開了方便之門，給人們的工作、生活和娛樂帶來了深刻的變化。

2、,4,多媒體定義、特性,媒體（Medium）　　在計算機領(lǐng)域中有兩種含義，既可理解為存儲信息的實體，如磁帶、磁盤、光盤等；也可理解為信息的載體，如數(shù)字、文字、聲音、圖像、動畫、視頻等。 多媒體技術(shù)中的“媒體”是指后者。,多媒體（ Multimedia）　　多媒體是指能夠同時獲取、處理、編輯、存儲和展示兩個以上不同類型信息媒體（文字、圖形、圖像、聲音、動畫和影視 ）的技術(shù) 。,5,多媒體計算機技術(shù)（ mpc）,多媒體計算機一般是

3、指能夠綜合處理文字、聲音、圖形、圖像、動畫和視頻等多種媒體信息，并在它們之間建立邏輯關(guān)系，使之集成為一個交互式系統(tǒng)的計算機。 它融高質(zhì)量的視頻、音頻、圖像等多種媒體信息的處理于一身，并具有大容量的存儲器，能給人們帶來一種文、聲、圖、像并茂的視聽感受。,6,MPC的基本結(jié)構(gòu),主機,觸摸屏,鍵盤,鼠標(biāo),視頻輸出外部存儲攝像機CD-ROM,視頻適配卡音頻適配卡圖形卡壓縮卡,音頻微信號輸入：麥克風(fēng)，唱機拾音器,

4、音頻、視頻輸入CD-ROM盤激光視盤攝像機、錄像機,音頻輸出：耳機、音箱音響設(shè)備,,,顯示器,,,,,通信網(wǎng)絡(luò)局域網(wǎng)絡(luò)電話網(wǎng)絡(luò),,,7,本節(jié)要點：波形聲音、MIDI聲音的特征如何使用Windows中的工具錄制和編輯波形聲音聲音壓縮的基本原理各種聲音文件格式語音合成與語音識別的基本原理,3．1 音頻信號的處理,,8,多媒體計算機中產(chǎn)生聲音的方式主要有三種：外部聲音源進行錄制和重放MIDI音樂

5、 CD-Audio,,在Windows中稱為,,,Wave波形音頻,MIDI音頻,CD音頻,不同的音頻數(shù)字信息存儲在計算機中時，所使用的格式是不同的，常見的聲音文件格式有： WAVE文件、MIDI文件和MP3文件等。 其中Wave是波形文件，MP3是壓縮格式的音頻文件。,,9,,3.1.1 Wave音頻文件 1．波形音頻的特征 波形音頻是多媒體計算機獲得聲音最直接、

6、最簡便的方式。 工作原理是：麥克風(fēng)（或立體聲錄音機或CD激光唱盤）等作為聲音信號的輸入源，聲卡以一定的采樣頻率和量化級別對輸入的聲音進行數(shù)字化采樣，將其從模擬信號轉(zhuǎn)換為數(shù)字信號，以適當(dāng)?shù)母袷酱嬖谟脖P上，由于揚聲器只能接受模擬信號，記錄下來的聲音在重放時，需要由聲卡將文件中的數(shù)字信號還原成模擬信號，經(jīng)混音器混合后由揚聲器輸出。,10,工作原理如圖,,,,,,,圖3-1-1 模擬聲音轉(zhuǎn)換為數(shù)字聲音,模擬聲音轉(zhuǎn)換為數(shù)字聲音

7、,11,采樣頻率：是指每秒從模擬聲波中選擇多少個點 的聲音樣本。 一般為：11.025kHz(指每秒采集聲音樣本11025 次）、22.05kHz、44.1 kHz和48kHz。 單位時間內(nèi)的采樣數(shù)Hz，（至少為波形頻率的兩倍）. 11.025 kHz的采樣頻率獲得的聲音稱為電話音質(zhì)；22.05 kHz 稱為廣播音質(zhì)；44.1kHz

8、稱為CD音質(zhì)。采樣頻率越高，獲得的聲音質(zhì)量越好，相應(yīng)占用的存儲空間也就越大。,,12,聲音采樣的量化量化：采樣數(shù)據(jù)按大小存儲的過程量化級別： 8位、16位、32位等 聲道數(shù) 單聲道和立體聲單聲道：聲音只能使一路喇叭發(fā)聲每次生成一個 聲波數(shù)據(jù) 立體聲（雙聲道）：聲音可以使兩路喇叭都發(fā)聲， 更能感受到空間效果每次生成兩個聲波數(shù)據(jù).,,13,Wave文件所占存儲容量的公式： 存

9、儲量＝(采樣頻率X量化位數(shù)X聲道)X時間÷8 (單位：字節(jié)數(shù)) 在Windows“錄音機”里，用最低的8kHz、8位、單聲道來保存，一秒鐘的聲音占的存儲空間為8KB。 若用48kHz、1

10、6位、立體聲來保存，一秒鐘的聲音需要188KB的存儲空間。 綜上所述，要使所錄制的聲音音質(zhì)好；其所占存儲量也會相應(yīng)大。,例,例,14,2．Wave音頻文件,Windows所使用的標(biāo)準(zhǔn)數(shù)字音頻是Wave波形文件，記錄了對實際聲音進行采樣的數(shù)據(jù)。Wave音頻文件的主要缺點是產(chǎn)生的文件太大，不適合長時間記錄。如果應(yīng)用系統(tǒng)使用CD音質(zhì)的Wave音頻文件配音，聲音內(nèi)容應(yīng)盡可能簡潔。由于原始聲音數(shù)據(jù)量太大，有必要采用硬件或軟件的方法進

11、行壓縮處理，常用的軟件壓縮方法主要有ACM和PCM等。另一方面，一般人的講話聲音使用8位量化級、11．025 kHz采樣頻率就能較好地還原，因此這種質(zhì)量較低的波形文件在應(yīng)用中也不少見。,15,3. Wave音頻文件的制作工具,Windows中的“錄音機’’具有最基本的聲音錄制和編輯功能。 Windows本身所攜帶的“錄音機”軟件，是Wave音頻文件錄制、播放和進行一些簡單處理的基本工具。啟動Windows “錄音機”,并打開一個

12、Wave音頻文件后的界面，在其窗口的中間便可看到所打開聲音文件的波形。,,16,錄音機,由于波形文件記錄的是數(shù)字化的音頻信號，可由計算機對其進行處理和分析，如刪除、插入混音等，又如加快、放慢聲音的播放速度，反向播放，將聲音重新組合等，如圖所示，從“效果”菜單中可以看到有關(guān)的操作命令，使用這些命令后，可以從波形上看到聲音的變化。,,,,,17,在錄音前，一般需要設(shè)定錄音時的采樣頻率和量化位數(shù)，這可通過聲音的“格式轉(zhuǎn)換”來設(shè)置，先在“選自”

13、下拉列表中選擇“錄音格式”，然后單擊旁邊的“立即轉(zhuǎn)換”按鈕，出現(xiàn)如圖所示的對話框，用于設(shè)定不同的采樣頻率和量化位數(shù)。另外不可忽略的是在進行錄音之前，還必須在系統(tǒng)“音量控制”的“選項”屬性中將調(diào)節(jié)音量設(shè)置為“錄音”方式。（具體操作見3.1.3）,有關(guān)錄音,,,,,,,18,如果想知道某個Wave音頻文件的數(shù)字聲音指標(biāo)，可以選中該聲音文件后，通過使用“文件/ 屬性”命令打開“聲音屬性”對話框來可以了解。,,,,,19,3.1.2 MIDI

14、合成音樂,MIDI（Musical Instrument Digital Interface）MIDI是音樂與計算機結(jié)合的產(chǎn)物MIDI是樂器數(shù)字接口的縮寫，文件擴展名是 .MID，泛指數(shù)字標(biāo)準(zhǔn)，它始建于1982年。標(biāo)準(zhǔn)的多媒體PC平臺能夠通過內(nèi)部合成器或連接端口的外部合成器播放MIDI文件。 MIDI文件的特點：是一系列指令，而不是波形，所占存儲空間非常少多媒體PC平臺能夠通過內(nèi)部合成器或連接到計算機MIDI端口的外部合成器播

15、放MIDI文件,20,1.合成器,合成器是利用DSP或其他芯片來產(chǎn)生音樂或聲音的電子裝置 FM合成器采用頻率調(diào)制的原理產(chǎn)生聲音 FM合成器能發(fā)出128種樂器的聲音 波表合成 對真實樂器聲采樣，制波表保存，由DSP查表調(diào)用處理聲音效果與真實的樂器聲幾乎無差別聲卡帶有波形表ROM的接口 或 本身帶有波形表ROM ROM的容量越大，可存儲的樂器音就越多軟波形表用CPU來實現(xiàn)波表合成器的部分功能降低對聲卡硬件要求,21,2.

16、 MIDI音樂產(chǎn)生原理 MIDI標(biāo)準(zhǔn)規(guī)定了裝置間連接的電纜、硬件標(biāo)準(zhǔn)和通信協(xié)議MIDI指令信息 ：由音符序列、定時和多達16個通道的演奏音符定義組成，演奏音符定義由鍵號、通道號、音長、音量和力度組成建立MIDI文件：設(shè)備演奏時輸入或軟件編輯產(chǎn)生 MIDI文件的特點：是指令不是波形，文件小 端口 ：MIDI In（輸入口）、MIDI Out（輸出 口）、 MIDI Thru（轉(zhuǎn)送口）,22,

17、由于MIDI文件是一系列指令，而不是波形，所以所占的存儲空間非常少，利用MIDI文件演奏音樂，所需的存儲量很少。 一個8位，22．05kHz的波形文件，記錄1．8秒鐘的聲音需要316．8KB空間，而演奏2分鐘樂曲的MIDI文件，其存儲空間不到8KB。另外，預(yù)先裝載MIDI文件比波形文件容易得多。這樣，在設(shè)計多媒體節(jié)目時，音樂的設(shè)置就變得十分靈活。,例,23,,在以下這些情況時

18、，使用MIDI合成音樂將比波形音頻更合適：需要播放長時間高質(zhì)量的音樂。需要以音樂作為背景音響效果，同時從CD-ROM中裝載其他數(shù)據(jù)，如圖像、文字的顯示等。需要以音樂作為背景音響效果，同時播放波形音頻，如音樂與語音同時輸出。,24,Windows中的媒體播放器可直接播放MIDI音樂,視聽,視聽,25,3.1.3 音頻處理,聲音的處理包括錄音、剪輯、去除雜音、混音、合成等等。一般聲音處理的軟件有Ulead、 AudioEditor

19、、Creative錄音大師、CakeWalk等。Windows中的“錄音機’’具有最基本的聲音錄制和編輯功能。(見3.1.1 3.),26,3.1.4 音頻數(shù)據(jù)壓縮,1．基本壓縮原理 由于音頻信號中存在著冗余，所以在計算機系統(tǒng)的音頻數(shù)據(jù)的存儲和傳輸中，數(shù)據(jù)壓縮是必須的，要在聲音質(zhì)量、數(shù)據(jù)率、計算量三個方面進行綜合考慮。 為了減少數(shù)據(jù)率，專家們致力于壓縮編碼的研究，國際電報電話咨詢委員會(CCI

20、TT)先后提出了一系列語音壓縮編碼的建議。,27,音頻信號的編碼方法通常有：,基于音頻數(shù)據(jù)的統(tǒng)計特性進行編碼，其典型技術(shù)是波形編碼，其目標(biāo)是使重建語音波形保持原波形的形狀?；谝纛l的聲學(xué)參數(shù)進行參數(shù)編碼，可進一步提高壓縮比，其目標(biāo)是使重建音頻保持原音頻的特性。將上述兩種編碼結(jié)合起來，就是混合編碼的方法。基于人的聽覺特性進行編碼，從人的聽覺特性出發(fā)，利用掩蔽效應(yīng)，設(shè)計聲學(xué)心理模型。 從而實現(xiàn)更高效率的數(shù)字音頻

21、的壓縮。其中以MPEG標(biāo)準(zhǔn)中的高頻編碼最有影響。,28,2．MP3音樂 MP3是 MPEG layer 3 的縮寫 MPEG (Moving Picture Expert Group) ，運動圖像專家組，是國際標(biāo)準(zhǔn)化組織成員，專門制定MPEG壓縮標(biāo)準(zhǔn)中的音頻部分，也就是MPEG音頻層。 MP3是MPEG音頻壓縮算法中壓縮與解壓縮計算方式的一種，用來處理高壓縮率的聲音信息。它所生成的聲音文件音質(zhì)接近CD，而文件大小卻

22、只有約其十二分之一。因此原本一張光盤上只能儲存十幾首CD格式的樂曲，若以MP3格式進行存儲，則可儲存100多首。,29,那么MP3為什么會有這樣神奇的效果呢?,原理: 一方面通過先進的編碼技術(shù)，讓未經(jīng)壓縮的原始聲音重新編碼壓縮；另一方面利用人耳的特點進行數(shù)據(jù)的縮減，由于人的耳朵對于超過15kHz的聲音就不是很靈敏了，所以將一些高頻的聲音信息刪掉不會對聲音效果有很大影響，這樣縮小聲音存儲所需占用的空間。 MP3

23、格式的聲音仍屬于聲波的一種，它是將原有的聲波經(jīng)過壓縮形成MP3的文件格式。 所以一張MP3音樂光盤可以將十幾張的CD音樂放到里面。若以一張音樂CD專輯可以播放60分鐘來算，一張MP3音樂光盤將可以放十幾小時的音樂，簡直就像一個小型的音樂收藏柜一樣。,30,三個層次音頻的壓縮比和壓縮后所產(chǎn)生聲音的數(shù)據(jù)質(zhì)量,,31,雖然MP3的好處很多，但由于采用壓縮格式，在音質(zhì)上畢竟還是有一定損失的。 音頻信號的壓縮方法通常分為,,音頻

24、信號壓縮,無損壓縮,有損壓縮,霍夫曼編碼,游程長度編碼,混合編碼,參數(shù)編碼,波形編碼,,,32,3.1.5 聲音文件的格式,在計算機中，聲音文件也稱為音頻文件。根據(jù)獲得的途徑和存儲的方式不同，聲音文件也有多種文件格式，不同格式的聲音文件具有不同的存儲特點。 常見的聲音文件格式有: WAV、MID 、MP3 CD格式、RM格式、WMA格式,33,1．WAV格式 WAV格式的音頻文件是Wind

25、ows中最常用的波形聲音文件格式，符合RIFF(resource interchange file format，資源交換文件格式)文件規(guī)范。 WAV格式支持多種壓縮算法。 由于WAV格式一般存放的是未經(jīng)壓縮處理的音頻數(shù)據(jù)，所以體積相對較大(1分鐘需要10MB)，不適合于在網(wǎng)絡(luò)上傳播。2．MP3格式 MP3格式誕生于20世紀(jì)80年代的德國，MPEG壓縮是一種有損壓縮，MPEG3音頻編碼具有10：1—12：1的高壓

26、縮率，同時基本保持低音頻部分不失真，但是犧牲了聲音文件中12kHz到16kHz高音頻部分的質(zhì)量來換取文件的尺寸。 由于MP3文件尺寸小、音質(zhì)好，因而為發(fā)展提供了良好的條件。直到現(xiàn)在，這種格式仍風(fēng)靡全球，其作為主流音頻格式的地位難以被撼動。,34,3．MIDI文件MIDI (musical instrument digital interface)MIDI文件的優(yōu)點是短小，一個6分多種、包含16個樂器的文件也只是80多KB；

27、缺點是播放效果因軟、硬件而異。MIDI文件主要用于原始樂器作品、流行歌曲的業(yè)余表演、游戲音軌以及電子賀卡等。4．CD格式 “*．CDA"格式，這就是CD音軌了，它是當(dāng)今世界上音質(zhì)最好的數(shù)碼音頻格式。標(biāo)準(zhǔn)CD格式具有44．1kHz的采樣頻率，速率88k／秒，16位量化位數(shù)。CD音軌近似無損，因此它的聲音基本上是忠于原聲的。,35,5．RealAudio格式RealAudio 主要適用于在網(wǎng)絡(luò)上的在線音樂欣賞。

28、Real文件的格式主要有：RA(RealAudio)、RM(RealMedia，RealAudio G2)和RMX(Re—alAudio Secured)等。這些格式的特點是可以隨網(wǎng)絡(luò)帶寬的不同而改變聲音的質(zhì)量，在保證大多數(shù)人聽到流暢聲音的前提下，令帶寬較富裕的聽眾獲得較好的音質(zhì)。6．WMA格式 WMA (Windows Media Audio) 格式是微軟開發(fā)的，音質(zhì)要強于MP3格式，更遠勝于RA格式，它和日本YAMAH

29、A公司開發(fā)的VQF格式一樣，是以減少數(shù)據(jù)流量但保持音質(zhì)的方法來達到比MP3壓縮率更高的目的，WMA的壓縮率一般可以達到1：18左右。 WMA支持音頻流技術(shù)，適合在網(wǎng)絡(luò)上在線播放.,36,3.1.6 語音合成與識別,語音處理就是利用計算機對語音進行處理的技術(shù)。它包括兩方面的內(nèi)容：一是使人們能用語音來代替鍵盤輸入和編輯文字，也就是使計算機具有“聽懂”語音的能力;這就是語音識別技術(shù)；二是要賦予計算機“講話”的能力，可以用語音輸