視聽交互過程中漢字的認知機制.pdf

1、我們所感知的外界事物，往往含有眾多信息，這些不同模式的信息通過不同的感知覺器官轉(zhuǎn)換成電信號，再通過大腦的逐級處理形成感知、判斷記憶和動作命令。視覺和聽覺神經(jīng)系統(tǒng)是大腦最重要的信息處理系統(tǒng)，它們以其特殊的信息處理機制，為信息認知提供不同的線索，然而視聽通道相互作用的問題與其它的智能問題一樣復雜。視聽交互是指大腦對視聽區(qū)域的腦功能活動進行選擇與協(xié)調(diào)，使分散的腦功能活動在功能上得到平衡與協(xié)調(diào)，并使認知與行為保持連續(xù)性。近年來，隨著腦成像技術(shù)的

2、高速發(fā)展，探討視聽交互方面的大腦機制已經(jīng)成為認知神經(jīng)科學研究領域的一個熱點問題。 就目前而沿，視聽交互作用方面的研究得出的結(jié)論主要有兩種：視覺影響聽覺的空間感知(腹語術(shù)效應，影院四周的聲音被感知來自于銀幕；共感覺現(xiàn)象和McGurk效應)；聽覺能夠調(diào)制大腦對視覺刺激的響應(閃光效應，一束光條并同時伴隨多個“嘟嘟”聲，單個閃光就會被感知成多個閃光)。近年來，研究者們開始選擇視聽交互任務類型來探討文字認知的神經(jīng)機制，獲得了一些有趣的研

3、究結(jié)論。跨感覺通道的語義加工機制目前存在兩種假說：轉(zhuǎn)換假說認為，在視讀和聽讀過程中，文字在各自通路加工后，從一個通路轉(zhuǎn)換到另一個通路；共語義系統(tǒng)假說認為，文字在各自知覺通路與詞匯系統(tǒng)進行加工后激活一個共同的語義或概念系統(tǒng)。 本文針對這些爭論，采用事件相關電位技術(shù)(ERPs)探討了視聽交互過程中漢字認知過程的腦內(nèi)時程動態(tài)變化。實驗材料分為視覺刺激與聽覺刺激。視覺刺激是《現(xiàn)代漢語字頻詞典》中選取日常生活中比較常見的雙字詞。聽覺刺激為

4、采用標準普通話誦讀這些漢字詞的聲音。在實驗過程中，依次呈現(xiàn)若干個漢字(或錯字)和聲音(或純音)，被試的任務之一是判斷所呈現(xiàn)的漢字或聲音里是否有出現(xiàn)生物類名詞，任務之二是判斷所呈現(xiàn)的漢字(或錯字)和聲音(或純音)是否一致。實驗在腦電實驗室進行，視覺和聽覺刺激分別用液晶電腦顯示屏和立體聲耳機呈現(xiàn)，對28名自愿參加實驗的視覺和聽覺正常的大學生被試單獨施測。 實驗l的實驗設計：首先在屏幕中央呈現(xiàn)一個注視點0.3ms；隨后，同時呈現(xiàn)視覺刺

5、激與聽覺刺激，持續(xù)時間為1ms，被試任務是判斷所看到和聽到的詞語是否一致。通過對被試的行為數(shù)據(jù)進行統(tǒng)計分析發(fā)現(xiàn)，被試對“視聽不一致”的RTs顯著長于“視聽一致”的RTs。這表明，在“視聽一致”的情況下，被試能較快地作出按鍵反應；“視聽一致”情況下，被試則需要稍長的時間來判斷文字和聲音是否一致。對腦電數(shù)據(jù)結(jié)果分析發(fā)現(xiàn)，“視聽一致”和“視聽不一致”都誘發(fā)了一些相同的早成分，如N1，P2。隨后，從350 ms左右開始，“視聽不一致”比“視聽一

6、致”誘發(fā)出了一個更加負性的ERP成分(N490)。在差異波(“不一致”—“一致”)中，該負成分的峰潛伏期約在490 ms左右；差異波的地形圖顯示，該負成分主要在大腦的額中部有明顯的激活。對差異波進行偶極子溯源分析，結(jié)果發(fā)現(xiàn)，該負成分可能主要起源于扣帶后回(PCC)。本研究的結(jié)果表明，在視聽整合的過程中，當視覺與聽覺信息(漢字)不一致的時候，大腦的扣帶后回可能主要參與了對漢字視聽信息沖突的監(jiān)控和調(diào)節(jié)過程。 實驗2的實驗設計：首先在

7、屏幕中央呈現(xiàn)一個注視點0.3ms，然后同時呈現(xiàn)視覺刺激與聽覺刺激1ms，要求被試判斷看到或聽到的詞是否有出現(xiàn)屬于生物類的詞。視聽刺激分為兩種類型隨機呈現(xiàn)：文字+純音(嘟嘟聲)，文字+語音(文字與語音內(nèi)容一致)。結(jié)果也發(fā)現(xiàn)了視聽交互的經(jīng)典ERP成分，如P20-50，N1，P2等，在“文字+語音”條件下，N1，P2的波幅更大。結(jié)果表明P20-50可能反映多通道腦區(qū)向多個單通道腦區(qū)的反向投射；N1不僅代表視覺加工，也說明聽覺信息對早期視覺刺激

8、辨別加工的調(diào)節(jié)作用，不同通道的信息在加工早期就存在動態(tài)的交互作用；漢字字形和語音的加工都與P2成分有關，形、音的加工和整合則主要發(fā)生在漢字識別的早期階段。 以往的視聽交互的ERP研究大多采用空間位置與非言語性視聽刺激，視聽交互過程中，聽覺能夠在早期階段對視覺通道的加工進行調(diào)節(jié)，感知系統(tǒng)可能依賴刺激信號的特征與其時間特性的關聯(lián)來對視聽言語信號進行加工。前人的研究多數(shù)是關于聲音能影響知覺到的視覺刺激時間與空間因素，關于言語知覺的跨通