增加電極位置信息的電子耳蝸聽(tīng)覺(jué)仿真模型

1、第31卷第1期哈爾濱工程大學(xué)學(xué)報(bào)Vo.l31l.12010年1月JournalofHarbinEngineeringUniversityJan.2010do:i10.3969.jissn.10067043.2010.01.023增加電極位置信息的電子耳蝸聽(tīng)覺(jué)仿真模型關(guān)添1宮琴12(1.清華大學(xué)生物醫(yī)學(xué)工程研究中心廣東深圳5180552.清華大學(xué)醫(yī)學(xué)院北京100084)摘要:為了改進(jìn)以正弦信號(hào)合成的電子耳蝸聽(tīng)覺(jué)仿真模型在仿真電子耳蝸植入患

2、者所感知的語(yǔ)音信息的缺陷建立了增加電極位置信息的正弦信號(hào)合成的聽(tīng)覺(jué)仿真模型.通過(guò)大樣本量的不同漢語(yǔ)語(yǔ)言材料的聽(tīng)覺(jué)仿真實(shí)驗(yàn)其中包括按元音、輔音、數(shù)字、音調(diào)和單字詞等5種漢語(yǔ)語(yǔ)言材料研究了基于連續(xù)交叉采樣算法的不同實(shí)驗(yàn)條件下電極位置對(duì)言語(yǔ)識(shí)別率的影響得出了漢語(yǔ)元音和單字詞對(duì)植入深度更加敏感的結(jié)論.為進(jìn)一步將這一仿真模型應(yīng)用到電子耳蝸研究上奠定了基礎(chǔ).關(guān)鍵詞:電子耳蝸聽(tīng)覺(jué)仿真模型語(yǔ)音信號(hào)處理電極位置信息中圖分類號(hào):R318.18文獻(xiàn)標(biāo)識(shí)碼:A

3、文章編號(hào):10067043(2010)01012805AnenhancedacousticsimulationmodelfcochlearimplantsusingelectrodesiteinfmationGUANTian1GONGQin12(1.ResearchCenterofBiomedicalEngineeringTsinghuaUniversityShenzhen518055China2.MedicalSchoolTsingh

4、uaUniversityBeijing100084China)Abstract:Problemsoccurinacousticsmiulationmodelsbasedonsynthesizingsinusoidalsignalstotestcochlearmiplantpatientsabilitytorecognizespeechinfmation.Anmiprovedacousticsmiulationmodelwaspropos

5、edthatsynthesizessinusoidalsignalsthatareadaptedtoelectrodesites.AlargenumberofexpermientswererunusingdifferentMarinmaterialsincludingvowelsconsonantsnumberstonesmonosyllabicwds.Allexpermientswerebasedoncontinuousinterle

6、avedsampler(CIS)algithmwithdifferentelectrodeinsertiondepths.ResultsdemonstratedthatMarinvowelsmonosyllabicwdswerecomparativelysensitivetoelectrodeiondepth.Itestablishedanmiptationfoundationfelectrodesiteinfmationincochl

7、earmiplantacousticsmiulationmodels.Keywds:cochlearimplantacousticsimulationmodelspeechprocessingelectrodesiteinfmation收稿日期:20081009.基金項(xiàng)目:國(guó)家自然科學(xué)基金資助項(xiàng)目(30800234)北京市自然科學(xué)基金資助項(xiàng)目(3082012)伍舜德博士醫(yī)學(xué)科學(xué)研究基金資助項(xiàng)目(20240000806).作者簡(jiǎn)介:關(guān)添(

8、1978)男博士后宮琴(1968)女副教授Emai:lgongqin@mai.ltsinghua.edu.cn.電子耳蝸(cochlearimplantCI)是目前唯一能使全聾患者恢復(fù)聽(tīng)覺(jué)的裝置[1].聽(tīng)覺(jué)仿真實(shí)驗(yàn)已被很多國(guó)內(nèi)外研究者用來(lái)測(cè)試各種傳遞不同語(yǔ)音信息的算法對(duì)言語(yǔ)理解的影響.電子耳蝸聽(tīng)覺(jué)仿真模型是基于人耳的生理結(jié)構(gòu)和聽(tīng)覺(jué)認(rèn)知的基本原理根據(jù)不同的算法結(jié)構(gòu)采用不同仿真方法來(lái)模擬電子耳蝸植入患者所感知的語(yǔ)音信息.由于植入患者只能利用

9、有限的信息表征語(yǔ)音信號(hào)而丟掉了某些細(xì)節(jié)特征正常聽(tīng)力人群的聽(tīng)力系統(tǒng)中也只有聽(tīng)神經(jīng)元的對(duì)應(yīng)部分可以被興奮而其余的聽(tīng)神經(jīng)元?jiǎng)t不能被興奮.因此可以利用簡(jiǎn)化的耳蝸模型對(duì)語(yǔ)音信息進(jìn)行處理這樣得出的合成聲音只包含電子耳蝸所傳遞的信息從而建立起特定語(yǔ)音處理算法的電子耳蝸仿真模型.電子耳蝸的聽(tīng)覺(jué)仿真模型根據(jù)合成仿真聲音的信號(hào)特點(diǎn)分為3類:1)正弦信號(hào)合成的聽(tīng)覺(jué)仿真模型2)噪聲信號(hào)合成的聽(tīng)覺(jué)仿真模型3)高斯包絡(luò)音調(diào)脈沖信號(hào)合成的聽(tīng)覺(jué)仿真模型.正弦信號(hào)合成的

10、聽(tīng)覺(jué)仿真模型利用每個(gè)通道通過(guò)帶通濾波后的信號(hào)包絡(luò)來(lái)調(diào)制一組不同頻率的正弦信號(hào)(正弦信號(hào)的頻率對(duì)應(yīng)該濾波器通帶的中心頻率)最終將正2.2實(shí)驗(yàn)條件語(yǔ)言材料的選擇:實(shí)驗(yàn)采用的語(yǔ)言材料來(lái)自于清華大學(xué)計(jì)算機(jī)系人機(jī)語(yǔ)音交互課題組的數(shù)據(jù)庫(kù).通道數(shù)的選擇:由于本實(shí)驗(yàn)著重驗(yàn)證復(fù)合電聲刺激對(duì)漢語(yǔ)普通話的言語(yǔ)識(shí)別能力的影響為了排除通道數(shù)的影響將通道數(shù)固定為8.即保證了仿真模型的有效性又減少了數(shù)據(jù)的計(jì)算量.按照實(shí)驗(yàn)漢語(yǔ)語(yǔ)言材料將其劃分為元音、輔音、數(shù)字、音調(diào)和

11、單字詞5個(gè)部分每個(gè)部分又根據(jù)植入深度的不同劃分為植入深度為26、24、22和20mm4組.2.3實(shí)驗(yàn)方案及測(cè)試過(guò)程志愿者預(yù)先要進(jìn)行漢語(yǔ)普通話水平預(yù)實(shí)驗(yàn)用來(lái)檢測(cè)志愿者對(duì)于普通話的掌握水平.志愿者通過(guò)耳機(jī)聽(tīng)到2句女聲發(fā)生的長(zhǎng)句每個(gè)句子播放2遍并把聽(tīng)到的內(nèi)容寫在答題紙上.識(shí)別率在90%以上的志愿者才可以認(rèn)為是熟練使用普通話的受試者才可以按照如下實(shí)驗(yàn)順序進(jìn)行聽(tīng)覺(jué)仿真實(shí)驗(yàn).首先進(jìn)行仿真聲音的試聽(tīng)反復(fù)播放2次一個(gè)女聲發(fā)聲的純凈語(yǔ)音句子和CIS算法仿

12、真后的聲音讓受試者適應(yīng)正弦背景的仿真聲音.隨后進(jìn)入音素測(cè)試(元音測(cè)試和輔音測(cè)試).測(cè)試表的語(yǔ)言材料均采用了漢語(yǔ)最低聽(tīng)覺(jué)功能測(cè)試表(MACC)[78].原始語(yǔ)音的抽樣率為16kHz.元音測(cè)試共有125題主要用來(lái)檢測(cè)分辨該條件下患者對(duì)漢語(yǔ)元音方面的聽(tīng)覺(jué)感知能力.為了反映漢語(yǔ)元音的特征并符合漢語(yǔ)語(yǔ)音規(guī)律詞表的選詞盡量維持元音的語(yǔ)音平衡再與適當(dāng)?shù)妮o音、聲調(diào)搭配構(gòu)成音節(jié).元音測(cè)試采用封閉式測(cè)試每個(gè)題目有4個(gè)備選答案.每小組中的4個(gè)字(1個(gè)發(fā)音詞3

13、個(gè)陪襯詞)其輔音、聲調(diào)一致差別僅在元音.整個(gè)元音測(cè)試共選用了5漢語(yǔ)拼音方案6韻母表中35個(gè)韻母中的33個(gè).輔音測(cè)試共有125題主要用來(lái)評(píng)估不同條件下患者對(duì)漢語(yǔ)輔音識(shí)別的效果.輔音選詞同樣盡量維持語(yǔ)音平衡選用了5漢語(yǔ)拼音方案6中的21個(gè)聲母.由于本測(cè)試表組次少如果嚴(yán)格按照漢語(yǔ)發(fā)音頻率計(jì)算就會(huì)造成高頻者集中出現(xiàn)低頻率者不出現(xiàn)的現(xiàn)象.因此考慮到輔音分析的必要性采用大面積覆蓋選詞發(fā)音.除了s.外其他聲母均被選用.元、輔音測(cè)試識(shí)別率均為選擇正確的

14、題數(shù)除以總題數(shù)得出.數(shù)字測(cè)試主要用來(lái)評(píng)估患者對(duì)漢語(yǔ)數(shù)字識(shí)別的效果.數(shù)字選擇1~10十個(gè)數(shù)字?jǐn)?shù)字平均分布封閉式測(cè)試共有110題.聲調(diào)測(cè)試主要用來(lái)檢測(cè)患者分辨漢語(yǔ)聲調(diào)方面的聽(tīng)覺(jué)感知能力共包括125題.通過(guò)選取適當(dāng)?shù)脑艉洼o音搭配構(gòu)成音節(jié)再搭配不同的聲調(diào)生成仿真聲音每小組中的4個(gè)字(1個(gè)發(fā)音詞3個(gè)陪襯詞)其元音、輔音一致差別僅在聲調(diào).測(cè)試采用封閉式測(cè)試每個(gè)題目有4個(gè)聲調(diào)的備選答案.受試者在聽(tīng)到仿真語(yǔ)音后選擇正確的聲調(diào)寫在答題紙上其測(cè)試識(shí)別率為

15、選擇正確的題數(shù)除以總題數(shù)計(jì)算得出.最后進(jìn)入單字詞測(cè)試.詞語(yǔ)測(cè)試共有125題選詞同樣考慮到了語(yǔ)音平衡.詞語(yǔ)測(cè)試采用了開(kāi)放式測(cè)試不再有備選答案.受試者在聽(tīng)到仿真的語(yǔ)音后將聽(tīng)到內(nèi)容的漢字或者漢語(yǔ)拼音寫在答題紙上沒(méi)聽(tīng)清的內(nèi)容鼓勵(lì)受試者猜測(cè)后填出.詞語(yǔ)測(cè)試識(shí)別率為填寫正確的字?jǐn)?shù)除以總字?jǐn)?shù)計(jì)算得出.3實(shí)驗(yàn)結(jié)果和討論圖2為一段漢語(yǔ)語(yǔ)音(女生發(fā)聲的shi20)及其增加電極位置信息的電子耳蝸聽(tīng)覺(jué)方針模型合成的仿真語(yǔ)音的時(shí)頻分析結(jié)果對(duì)比(1kHz以內(nèi)頻段)

16、.圖2原始語(yǔ)音與增加電極位置信息的電子耳蝸聽(tīng)覺(jué)方針模型合成的仿真語(yǔ)音時(shí)頻分析結(jié)果Fig.2Timefrequencydistributionmapsofaniginalmonosyllabicwditssynthesizedvoicebycochlearimplantacousticstimulationmodelwithelectrodesiteinfmation.從圖2中可以看出原始語(yǔ)音包含有精細(xì)結(jié)構(gòu)而仿真語(yǔ)音僅包含了電子耳蝸所傳遞