語音信號處理-短時傅立葉分析與綜合與聽覺特征

1、人耳感知原理,SDTFT的兩種解釋1.濾波解釋2.調(diào)制解釋,（1）,,濾波觀點(diǎn),（3）,（2）,可解釋為x(n)調(diào)制到頻率ω0,調(diào)制觀點(diǎn),（4）,,（3）式改寫為,信號調(diào)制,1.載波,,,,,,,特點(diǎn)：頻率較高,2.被調(diào)制信號,,一般來說，頻率遠(yuǎn)低于載波,,,,調(diào)制后的信號,語音信號的調(diào)制解釋,語音可看作多個信號被調(diào)制到多個載波后疊加的結(jié)果,,,二、語音聽覺系統(tǒng)（一個十分巧妙的音頻信號處理器）,,人類接收語音由人耳來完成，空氣振動由

2、耳廓收集，經(jīng)外耳道而抵達(dá)鼓膜，鼓膜隨之振動，使鼓室中的空氣和聽骨鏈也發(fā)生振動，聽骨鏈的振動經(jīng)前庭窗（卵圓窗）激勵前庭淋巴，變?yōu)橐翰?，液波使位于基底膜上的螺旋器受到刺激，將神?jīng)沖動經(jīng)聽神經(jīng)傳到中樞而產(chǎn)生聽覺。,正常人的聽覺系統(tǒng)是極為靈敏的，可聽聲的范圍為0.02Hz-20kHz。 可聽聲的最小聲壓級(dB)稱為聽閾。-5 130dB，對低頻和高頻是不敏感的，聽閾為60dB，在1kHz附近最敏感。,,,1. 耳的結(jié)構(gòu)（外耳、中耳和內(nèi)

3、耳）和功能,外耳：對聲源定位和對聲音放大的作用，由耳廓和外耳道組成。☆耳廓呈漏斗型，其作用是收集聲音。☆外耳道直至鼓膜，其中充滿空氣，是一諧振腔，使諧振頻率附近的頻率成分有某些放大作用，導(dǎo)致聲音有某些失真。,外耳道的長度為2.5cm，對波長為其4倍作用的聲波能起到較好的放大作用，即有：4?2.5=10cm， 3000-4000Hz聲波的波長為8.5cm-11.41cm，因此外耳道對這部分頻率的信號有擴(kuò)音作用，10dB左右。,,外耳道

4、,中耳,★ 結(jié)構(gòu)：總?cè)萘繛?立方厘米，內(nèi)含三塊聽小骨，錘骨、砧骨、鐙骨，其中錘骨與鼓膜相接觸，鐙骨則與內(nèi)耳的前庭窗相接觸。,★ 作用：進(jìn)行阻抗變換，將中耳兩端的聲阻抗匹配起來；保護(hù)內(nèi)耳。在一定聲強(qiáng)范圍內(nèi)，聽小骨實(shí)現(xiàn)聲音的線性傳遞，而在特強(qiáng)聲時，實(shí)現(xiàn)非線性傳遞。,內(nèi)耳,★ 結(jié)構(gòu)：主要部分是耳蝸，耳蝸長約3.5cm，呈螺旋狀盤繞2.5-2.75圈，是一個密閉的管子，內(nèi)部充滿了淋巴液。,,,,,,,前庭窗,,鐙骨,,基底膜,★ 作用：將振動變

5、換為神經(jīng)沖動。當(dāng)聲音傳入中耳時，鐙骨的運(yùn)動經(jīng)過前庭窗引起耳蝸內(nèi)液體壓強(qiáng)的變化，從而引起行波沿基底膜的傳輸，引起基底膜的振動。不同頻率的聲音產(chǎn)生不同的行波，其峰值出現(xiàn)在基底膜的不同位置上?；啄さ恼駝訉?dǎo)致沿基底膜分布的毛細(xì)胞的電位發(fā)生改變，引起神經(jīng)沖動，傳遞給大腦，產(chǎn)生聽覺。,如果信號是一個多頻率的信號，則產(chǎn)生的行波將沿著基底膜在不同的位置產(chǎn)生最大幅度，從這個意義上講，耳蝸就像一個頻譜分析儀，將復(fù)雜信號分解成各種頻率分量，這種作用稱為人耳

6、的時頻分析特性。耳蝸在語音接收過程起著重要的作用。,人工耳蝸是一種電子裝置，能幫助重度及極重度耳聾患者獲得或重新恢復(fù)聽覺。它代替病變受損的聽覺器官，把聲音轉(zhuǎn)換成編碼的電信號傳入內(nèi)耳耳蝸，刺激分布在那里的聽神經(jīng)，再由大腦產(chǎn)生聽覺。,人工耳蝸,麥克風(fēng)接收聲音，并通過導(dǎo)線將其傳至言語處理器；言語處理器對聲音進(jìn)行數(shù)字化、濾波編碼等處理，并將編碼信號經(jīng)導(dǎo)線傳至傳輸線圈；傳輸線圈將編碼信號通過耦合傳至皮下的接收器；接收器對編碼信號進(jìn)行解碼；按信號選

7、擇一定位置的電極，刺激耳蝸內(nèi)的聽神經(jīng)纖維，使其產(chǎn)生興奮，將信號傳入大腦，產(chǎn)生聽覺。,人工耳蝸的工作原理,2.聲音傳入內(nèi)耳的途徑,由空氣傳導(dǎo)，稱為氣導(dǎo)，其過程為：聲波 耳廓 鼓膜 聽骨 內(nèi)耳 基底膜上毛細(xì)胞電位改變 神經(jīng)沖動,,,,,,由骨傳導(dǎo)，稱為骨導(dǎo)，其過程為：聲波 顱骨 外淋巴振動 內(nèi)耳 基底膜上毛細(xì)胞電位改變 神經(jīng)沖動,,,,

8、,,,,3. 人耳的兩個重要特性,（1）耳蝸對聲信號的時頻分析特性（2）人耳的掩蔽效應(yīng),,人耳的掩蔽（masking phenomenon）效應(yīng):在一個強(qiáng)信號附近弱信號將變得不可聞，被掩蔽掉了。,掩蔽閾值,被掩蔽掉的不可聞信號的最大聲壓級稱為掩蔽門限和掩蔽閾值（masking threshold）,在這個掩蔽閾值以下的聲音將被掩蔽掉。,掩蔽效應(yīng)分為同時掩蔽(頻域掩蔽)和短時掩蔽（時域掩蔽）。同時掩蔽是指存在一個弱信號和一個強(qiáng)信號，當(dāng)其

9、頻率接近時，強(qiáng)信號會提高弱信號的閾值，就會導(dǎo)致弱信號變得不可聞。,,,,1kHz的聽閾,1dB,20dB,4dB,,,可聞聲,3dB,,不可聞聲,圖形描述,同時出現(xiàn)的A聲和B聲，若原來A聲的閾值為50dB,由于另一個頻率不同的B聲的存在使得A聲的閾值提高了68dB,則B聲稱為掩蔽聲，A聲稱為被掩蔽聲。掩蔽量為68dB－50dB＝18dB。,數(shù)學(xué)描述,掩蔽效應(yīng)的作用,當(dāng)只有A聲時，必須將聲壓級在50dB以上的聲音信號傳送出去，50dB以下

10、的聲音是聽不到的。當(dāng)同時出現(xiàn)了B聲，由于掩蔽效應(yīng)，使得A聲中的68dB以下的聲音是聽不到了，可以不予傳送，只是傳送50dB以上的信號。,同時掩蔽時，掩蔽聲越強(qiáng)，掩蔽作用越大；掩蔽聲和被掩蔽聲的頻率越接近，掩蔽效果越明顯，當(dāng)頻率相同時，掩蔽效果最大。,前向掩蔽：若被掩蔽聲A出現(xiàn)后，相隔(0.05s,2s)之內(nèi)出現(xiàn)了掩蔽聲B，對A起掩蔽作用，因?yàn)锳聲尚未被人所反應(yīng)接收而強(qiáng)大的B聲已來臨。,短時掩蔽 前向掩蔽和后向掩蔽,,后向掩蔽：掩