視聽一致性對聲音響度變化判斷的影響.pdf

1、人類通過不同的感官系統(tǒng)獲取外界信息，檢測和感知外界事物，而不同的感覺器官獲取的信息存在相互影響。視覺和聽覺作為人類感知外部信息最重要的兩個通道，它們之間的交互作用是認知科學(xué)領(lǐng)域長期關(guān)注的問題。大腦需要整合來自視覺和聽覺的信息[1,2]，經(jīng)過一定的加工處理，產(chǎn)生認知結(jié)果，實現(xiàn)對現(xiàn)實世界的反映。當(dāng)人感知的視聽信息一致時，可以促進認知[3]；而視聽信息不一致時，則產(chǎn)生整合作用[4]或者干擾認知[5]，這是視聽交互作用的“一致性”問題。

2、　　目前，簡單刺激的視聽交互作用研究主要集中在單個聽覺刺激的某些屬性（持續(xù)時間、空間位置、頻率等）感知與單個視覺刺激的某些屬性（持續(xù)時間、大小、空間位置、頻率等）感知之間的相互影響。但是，還沒有研究對視（聽）刺激變化的認知過程。這種對刺激變化認知過程是否也有視聽交互作用的影響？如果有，那么這種視聽交互作用是否也存在類似的“一致性”問題1？例如當(dāng)大小變化（或不變）的視覺刺激與聽覺刺激同時呈遞時，是否會影響受試者對聲音響度變化的判斷；大腦哪

3、些區(qū)域參與了聽覺（或視覺）變化的認知過程？這些問題都非常值得研究。
　　為了研究以上問題，我們讓受試者判斷兩個連續(xù)呈現(xiàn)的聽覺刺激（可能響度相同 A1-A1，也可以響度變化 A1-A2）的響度是否變化，同時呈遞（或者不呈遞）兩個同步的視覺刺激（可能相同V1-V1，也可能不同V1-V2）。為實驗刺激方式更全面，我們還加入了單個的聲音刺激A1（保證受試者對實驗刺激真實反應(yīng)），以及空白刺激No-stim（計算差異波），總計10種刺激模式，

4、以研究不同刺激模式下認知的不同過程。
　　行為學(xué)結(jié)果表明：與單獨的聽覺刺激（A1-A1/A1-A2）相比，視覺刺激V1-V2同時呈遞時，受試者對視聽不一致的刺激的判斷不僅正確率下降，而且反應(yīng)時顯著增加，對于視聽一致的刺激的判斷反應(yīng)時則顯著減??；而與視覺刺激V1-V1同時呈遞時，受試者只在視聽不一致的情況下反應(yīng)正確率降低了。神經(jīng)電生理結(jié)果表明：由視覺刺激影響而產(chǎn)生的聽覺錯判與單獨的聽覺刺激相比，差異波顯示110-130 ms前中央?yún)^(qū)

5、具有統(tǒng)計學(xué)差異，暗示可能此時已經(jīng)存在視聽交互了。而160-200 ms處統(tǒng)計檢驗發(fā)現(xiàn)更多的皮層區(qū)域存在差異；溯源分析也表明，對比多通道反應(yīng)和單通道反應(yīng)，在160-200 ms大腦Brodmann8區(qū)、18區(qū)的活動較明顯。這些都表明160-200 ms左右可能是視聽交互作用早期認知最顯著、最強烈的時刻。而在300-400 ms，頭皮大片區(qū)域電極活動存在大量顯著性差異，溯源分析表明大腦Brodmann6區(qū)、9區(qū)和13區(qū)存在明顯激活。這些都說

6、明空間變化的視覺刺激對聽覺刺激響度判斷有顯著的影響，即視覺的空間域和聽覺的響度域存在交互作用，而且不同的刺激的交互作用體現(xiàn)在認知的不同過程中。例如不變的視覺刺激對聽覺響度判斷的影響僅體現(xiàn)在感知過程（正確率）中，而變化的視覺刺激則即影響了受試者對聽覺響度的感知（正確率），又影響了判斷（反應(yīng)時）。
　　相較于以往的研究，本課題的貢獻及創(chuàng)新性包括：
　?。?）首先，以往的視聽交互的研究局限于對持續(xù)時間、空間位置等屬性的判斷，而本課

7、題研究的范圍擴展到了聽覺的響度域，并且研究的是視覺和聽覺變化的認知過程；
　?。?）其次，以往的視聽交互的研究中，視聽刺激大多只同時呈遞一次，而本實驗?zāi)Ｊ街胁捎孟群蟪蔬f的兩個視聽刺激（每個視聽刺激中視覺和聽覺刺激同時呈遞）作為一個刺激組，兩個視聽刺激間存在影響，對兩者的綜合的理解才能得出對任務(wù)的判斷。同時，我們選取的刺激模式不僅能夠通過行為學(xué)結(jié)果反映不同視覺刺激對聽覺響度判斷的影響，還通過電生理學(xué)結(jié)果確定認知過程。更重要的是，如此

8、多的刺激模式涵蓋了更多的內(nèi)容，排除了以往實驗中的特定因素，使實驗更具有普遍性。
　?。?）再次，在該課題的研究過程中，結(jié)合了行為學(xué)、ERP、差異波和溯源分析等多種認知神經(jīng)科學(xué)的研究手段，行為學(xué)結(jié)果為神經(jīng)電生理分析提供一定的基礎(chǔ)，而兩者又相互映襯，從不同的側(cè)面反映出比較統(tǒng)一的結(jié)果，溯源分析則體現(xiàn)出了這一視聽認知過程中不同腦區(qū)的激活情況，并且不同時間段的腦地形圖的變化特征體現(xiàn)了整個視聽認知過程中大腦激活的區(qū)域分布特征，為更好地揭示不同