增加電極位置信息的電子耳蝸聽覺仿真模型

1、第31卷第1期哈爾濱工程大學(xué)學(xué)報(bào)Vo.l31l.12010年1月JournalofHarbinEngineeringUniversityJan.2010do:i10.3969.jissn.10067043.2010.01.023增加電極位置信息的電子耳蝸聽覺仿真模型關(guān)添1宮琴12(1.清華大學(xué)生物醫(yī)學(xué)工程研究中心廣東深圳5180552.清華大學(xué)醫(yī)學(xué)院北京100084)摘要:為了改進(jìn)以正弦信號合成的電子耳蝸聽覺仿真模型在仿真電子耳蝸植入患

2、者所感知的語音信息的缺陷建立了增加電極位置信息的正弦信號合成的聽覺仿真模型.通過大樣本量的不同漢語語言材料的聽覺仿真實(shí)驗(yàn)其中包括按元音、輔音、數(shù)字、音調(diào)和單字詞等5種漢語語言材料研究了基于連續(xù)交叉采樣算法的不同實(shí)驗(yàn)條件下電極位置對言語識別率的影響得出了漢語元音和單字詞對植入深度更加敏感的結(jié)論.為進(jìn)一步將這一仿真模型應(yīng)用到電子耳蝸研究上奠定了基礎(chǔ).關(guān)鍵詞:電子耳蝸聽覺仿真模型語音信號處理電極位置信息中圖分類號:R318.18文獻(xiàn)標(biāo)識碼:A

3、文章編號:10067043(2010)01012805AnenhancedacousticsimulationmodelfcochlearimplantsusingelectrodesiteinfmationGUANTian1GONGQin12(1.ResearchCenterofBiomedicalEngineeringTsinghuaUniversityShenzhen518055China2.MedicalSchoolTsingh

4、uaUniversityBeijing100084China)Abstract:Problemsoccurinacousticsmiulationmodelsbasedonsynthesizingsinusoidalsignalstotestcochlearmiplantpatientsabilitytorecognizespeechinfmation.Anmiprovedacousticsmiulationmodelwaspropos

5、edthatsynthesizessinusoidalsignalsthatareadaptedtoelectrodesites.AlargenumberofexpermientswererunusingdifferentMarinmaterialsincludingvowelsconsonantsnumberstonesmonosyllabicwds.Allexpermientswerebasedoncontinuousinterle

6、avedsampler(CIS)algithmwithdifferentelectrodeinsertiondepths.ResultsdemonstratedthatMarinvowelsmonosyllabicwdswerecomparativelysensitivetoelectrodeiondepth.Itestablishedanmiptationfoundationfelectrodesiteinfmationincochl

7、earmiplantacousticsmiulationmodels.Keywds:cochlearimplantacousticsimulationmodelspeechprocessingelectrodesiteinfmation收稿日期:20081009.基金項(xiàng)目:國家自然科學(xué)基金資助項(xiàng)目(30800234)北京市自然科學(xué)基金資助項(xiàng)目(3082012)伍舜德博士醫(yī)學(xué)科學(xué)研究基金資助項(xiàng)目(20240000806).作者簡介:關(guān)添(

8、1978)男博士后宮琴(1968)女副教授Emai:lgongqin@mai.ltsinghua.edu.cn.電子耳蝸(cochlearimplantCI)是目前唯一能使全聾患者恢復(fù)聽覺的裝置[1].聽覺仿真實(shí)驗(yàn)已被很多國內(nèi)外研究者用來測試各種傳遞不同語音信息的算法對言語理解的影響.電子耳蝸聽覺仿真模型是基于人耳的生理結(jié)構(gòu)和聽覺認(rèn)知的基本原理根據(jù)不同的算法結(jié)構(gòu)采用不同仿真方法來模擬電子耳蝸植入患者所感知的語音信息.由于植入患者只能利用

9、有限的信息表征語音信號而丟掉了某些細(xì)節(jié)特征正常聽力人群的聽力系統(tǒng)中也只有聽神經(jīng)元的對應(yīng)部分可以被興奮而其余的聽神經(jīng)元則不能被興奮.因此可以利用簡化的耳蝸模型對語音信息進(jìn)行處理這樣得出的合成聲音只包含電子耳蝸所傳遞的信息從而建立起特定語音處理算法的電子耳蝸仿真模型.電子耳蝸的聽覺仿真模型根據(jù)合成仿真聲音的信號特點(diǎn)分為3類:1)正弦信號合成的聽覺仿真模型2)噪聲信號合成的聽覺仿真模型3)高斯包絡(luò)音調(diào)脈沖信號合成的聽覺仿真模型.正弦信號合成的

10、聽覺仿真模型利用每個(gè)通道通過帶通濾波后的信號包絡(luò)來調(diào)制一組不同頻率的正弦信號(正弦信號的頻率對應(yīng)該濾波器通帶的中心頻率)最終將正2.2實(shí)驗(yàn)條件語言材料的選擇:實(shí)驗(yàn)采用的語言材料來自于清華大學(xué)計(jì)算機(jī)系人機(jī)語音交互課題組的數(shù)據(jù)庫.通道數(shù)的選擇:由于本實(shí)驗(yàn)著重驗(yàn)證復(fù)合電聲刺激對漢語普通話的言語識別能力的影響為了排除通道數(shù)的影響將通道數(shù)固定為8.即保證了仿真模型的有效性又減少了數(shù)據(jù)的計(jì)算量.按照實(shí)驗(yàn)漢語語言材料將其劃分為元音、輔音、數(shù)字、音調(diào)和

11、單字詞5個(gè)部分每個(gè)部分又根據(jù)植入深度的不同劃分為植入深度為26、24、22和20mm4組.2.3實(shí)驗(yàn)方案及測試過程志愿者預(yù)先要進(jìn)行漢語普通話水平預(yù)實(shí)驗(yàn)用來檢測志愿者對于普通話的掌握水平.志愿者通過耳機(jī)聽到2句女聲發(fā)生的長句每個(gè)句子播放2遍并把聽到的內(nèi)容寫在答題紙上.識別率在90%以上的志愿者才可以認(rèn)為是熟練使用普通話的受試者才可以按照如下實(shí)驗(yàn)順序進(jìn)行聽覺仿真實(shí)驗(yàn).首先進(jìn)行仿真聲音的試聽反復(fù)播放2次一個(gè)女聲發(fā)聲的純凈語音句子和CIS算法仿

12、真后的聲音讓受試者適應(yīng)正弦背景的仿真聲音.隨后進(jìn)入音素測試(元音測試和輔音測試).測試表的語言材料均采用了漢語最低聽覺功能測試表(MACC)[78].原始語音的抽樣率為16kHz.元音測試共有125題主要用來檢測分辨該條件下患者對漢語元音方面的聽覺感知能力.為了反映漢語元音的特征并符合漢語語音規(guī)律詞表的選詞盡量維持元音的語音平衡再與適當(dāng)?shù)妮o音、聲調(diào)搭配構(gòu)成音節(jié).元音測試采用封閉式測試每個(gè)題目有4個(gè)備選答案.每小組中的4個(gè)字(1個(gè)發(fā)音詞3

13、個(gè)陪襯詞)其輔音、聲調(diào)一致差別僅在元音.整個(gè)元音測試共選用了5漢語拼音方案6韻母表中35個(gè)韻母中的33個(gè).輔音測試共有125題主要用來評估不同條件下患者對漢語輔音識別的效果.輔音選詞同樣盡量維持語音平衡選用了5漢語拼音方案6中的21個(gè)聲母.由于本測試表組次少如果嚴(yán)格按照漢語發(fā)音頻率計(jì)算就會造成高頻者集中出現(xiàn)低頻率者不出現(xiàn)的現(xiàn)象.因此考慮到輔音分析的必要性采用大面積覆蓋選詞發(fā)音.除了s.外其他聲母均被選用.元、輔音測試識別率均為選擇正確的

14、題數(shù)除以總題數(shù)得出.數(shù)字測試主要用來評估患者對漢語數(shù)字識別的效果.數(shù)字選擇1~10十個(gè)數(shù)字?jǐn)?shù)字平均分布封閉式測試共有110題.聲調(diào)測試主要用來檢測患者分辨漢語聲調(diào)方面的聽覺感知能力共包括125題.通過選取適當(dāng)?shù)脑艉洼o音搭配構(gòu)成音節(jié)再搭配不同的聲調(diào)生成仿真聲音每小組中的4個(gè)字(1個(gè)發(fā)音詞3個(gè)陪襯詞)其元音、輔音一致差別僅在聲調(diào).測試采用封閉式測試每個(gè)題目有4個(gè)聲調(diào)的備選答案.受試者在聽到仿真語音后選擇正確的聲調(diào)寫在答題紙上其測試識別率為

15、選擇正確的題數(shù)除以總題數(shù)計(jì)算得出.最后進(jìn)入單字詞測試.詞語測試共有125題選詞同樣考慮到了語音平衡.詞語測試采用了開放式測試不再有備選答案.受試者在聽到仿真的語音后將聽到內(nèi)容的漢字或者漢語拼音寫在答題紙上沒聽清的內(nèi)容鼓勵受試者猜測后填出.詞語測試識別率為填寫正確的字?jǐn)?shù)除以總字?jǐn)?shù)計(jì)算得出.3實(shí)驗(yàn)結(jié)果和討論圖2為一段漢語語音(女生發(fā)聲的shi20)及其增加電極位置信息的電子耳蝸聽覺方針模型合成的仿真語音的時(shí)頻分析結(jié)果對比(1kHz以內(nèi)頻段)

16、.圖2原始語音與增加電極位置信息的電子耳蝸聽覺方針模型合成的仿真語音時(shí)頻分析結(jié)果Fig.2Timefrequencydistributionmapsofaniginalmonosyllabicwditssynthesizedvoicebycochlearimplantacousticstimulationmodelwithelectrodesiteinfmation.從圖2中可以看出原始語音包含有精細(xì)結(jié)構(gòu)而仿真語音僅包含了電子耳蝸所傳遞