視聽(tīng)時(shí)序知覺(jué)的認(rèn)知與神經(jīng)機(jī)制：來(lái)自心理物理與電生理研究的證據(jù).pdf

1、時(shí)間一直以來(lái)都是一個(gè)困擾著哲學(xué)家和心理學(xué)家的謎。它對(duì)人類(lèi)的行為、認(rèn)知和意識(shí)都很重要。時(shí)間的概念是復(fù)雜和多元的。本文主要關(guān)注的是時(shí)序知覺(jué)而非時(shí)距知覺(jué)。時(shí)序知覺(jué)指的是事件的順序，即兩個(gè)事件同時(shí)或相繼發(fā)生時(shí)彼此的同時(shí)性、連續(xù)性及順序性關(guān)系。時(shí)序知覺(jué)是我們理解語(yǔ)音、欣賞音樂(lè)、參與體育運(yùn)動(dòng)等知覺(jué)與行為的基礎(chǔ)。概括地說(shuō)，本文包括的四個(gè)研究利用了行為和電生理方法，分別探討了視聽(tīng)時(shí)序知覺(jué)的幾個(gè)不同的理論問(wèn)題。
　　首先，同時(shí)性知覺(jué)和多感覺(jué)整合都隨

2、著刺激起始異步性(stimulus onsetasynchrony, SOA)的變化而變化，但是行為、病人和損傷研究都表明兩者是分離的加工過(guò)程。盡管研究發(fā)現(xiàn)同時(shí)性知覺(jué)和多感覺(jué)整合在適應(yīng)了不同時(shí)的刺激后都會(huì)發(fā)生改變，但是還沒(méi)有研究直接比較這兩種適應(yīng)模式的差異。研究1旨在解決這個(gè)問(wèn)題，我們使用了McGurk言語(yǔ)材料，要求被試完成同時(shí)性判斷任務(wù)和言語(yǔ)識(shí)別任務(wù)。結(jié)果發(fā)現(xiàn)，在適應(yīng)了不同時(shí)的刺激后，知覺(jué)到的同時(shí)和McGurk效應(yīng)都偏向了時(shí)間延遲的方

3、向。兩個(gè)加工的適應(yīng)后效既沒(méi)有顯著的差異，也沒(méi)有顯著的相關(guān)。此外，McGurk效應(yīng)還在時(shí)間延遲的方向上有顯著的增大，這并不能完全用反應(yīng)的偏移來(lái)解釋。因此，研究1表明同時(shí)性知覺(jué)和多感覺(jué)整合代表的外顯和內(nèi)隱計(jì)時(shí)的適應(yīng)后效既有相似也有差異。
　　其次，適應(yīng)不同時(shí)的刺激可以使觀察者知覺(jué)為同時(shí)的SOA偏向時(shí)間延遲的方向（即對(duì)不同時(shí)的刺激的適應(yīng)影響隨后的時(shí)序判斷，這種適應(yīng)后效被稱(chēng)為時(shí)間再校準(zhǔn))。雖然同時(shí)發(fā)生的多重時(shí)間再校準(zhǔn)（指同時(shí)適應(yīng)多對(duì)不同時(shí)

4、的刺激，其適應(yīng)后效彼此獨(dú)立）被認(rèn)為具有空間特異性，但更重要的決定條件可能是多對(duì)不同的刺激必須要先通過(guò)知覺(jué)組織結(jié)合為不同的客體。研究2探討了使得兩對(duì)刺激能更明顯地區(qū)分開(kāi)來(lái)的物理差異能否獨(dú)立地引發(fā)多重時(shí)間再校準(zhǔn)，即使刺激在空間上是重合的。實(shí)驗(yàn)1操縱了復(fù)雜視聽(tīng)刺激的物理差異，相比兩個(gè)不同的講話(huà)者念不同的音節(jié)，一個(gè)講話(huà)者念兩個(gè)不同音節(jié)明顯地減小了言語(yǔ)刺激的物理差異;當(dāng)觀察者同時(shí)適應(yīng)這兩個(gè)音節(jié)各自不同的時(shí)間延遲后，物理差異減小使得它們各自獨(dú)立的時(shí)

5、間再校準(zhǔn)也消失了。實(shí)驗(yàn)2通過(guò)使得兩個(gè)刺激非時(shí)間維度的特征更復(fù)雜(比如圓盤(pán)有兩個(gè)而不是一個(gè)屬性構(gòu)成，聲音函數(shù)是兩個(gè)頻率的乘積）來(lái)增大簡(jiǎn)單刺激的物理差異，結(jié)果觀察到每對(duì)刺激各自獨(dú)立的時(shí)間再校準(zhǔn);但是這種操作的效果比較弱。實(shí)驗(yàn)3進(jìn)一步表明兩對(duì)刺激時(shí)間結(jié)構(gòu)的差異（一個(gè)突變一個(gè)漸變）也足以引發(fā)多重時(shí)間再校準(zhǔn)。研究2的結(jié)果說(shuō)明刺激差異越大，特別是時(shí)間結(jié)構(gòu)的差異，多個(gè)刺激的時(shí)間再校準(zhǔn)就越有可能各自獨(dú)立地發(fā)生，即使這些刺激在空間上是重合的。這提示知覺(jué)組

6、織可能先于時(shí)間再校準(zhǔn)。
　　再次，研究3探討了當(dāng)一個(gè)聲音刺激只跟一前一后兩個(gè)閃光刺激中的一個(gè)同時(shí)時(shí)，依據(jù)空間的時(shí)間綁定是否要優(yōu)于依據(jù)特征的時(shí)間綁定。在實(shí)驗(yàn)4中，連續(xù)的不同顏色的閃光要么出現(xiàn)在一個(gè)空間位置，要么出現(xiàn)在兩個(gè)不同的空間位置，被試的任務(wù)是判斷哪一個(gè)顏色的閃光與聲音是同時(shí)的，而忽略它出現(xiàn)的位置。在實(shí)驗(yàn)5中，兩個(gè)閃光總是出現(xiàn)在左右兩側(cè)的位置，它們要么是相同的顏色，要么是不同的顏色，被試的任務(wù)是判斷哪一側(cè)的閃光與聲音是不同的，而

7、忽略它的顏色。結(jié)果發(fā)現(xiàn)，當(dāng)兩個(gè)閃光位于同一位置時(shí)，通過(guò)顏色線(xiàn)索完成的視聽(tīng)時(shí)間綁定要顯著地差于當(dāng)它們位于不同位置時(shí);而當(dāng)兩個(gè)閃光顏色相同時(shí)，通過(guò)空間線(xiàn)索完成的時(shí)間綁定則要顯著地好于當(dāng)它們顏色不同時(shí)。比較兩個(gè)實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，只能利用空間線(xiàn)索進(jìn)行時(shí)間綁定時(shí)的成績(jī)要顯著好于只能利用顏色線(xiàn)索時(shí)。因此，研究3表明利用空間線(xiàn)索的視聽(tīng)時(shí)間綁定要優(yōu)于利用特征線(xiàn)索，提示時(shí)間與空間可能聯(lián)結(jié)得更緊密，它們的綁定可能發(fā)生在更早期的加工階段。
　　最后，研

8、究已經(jīng)證實(shí)大腦的神經(jīng)振蕩的活動(dòng)處于不斷變化中，并且刺激出現(xiàn)前的振蕩活動(dòng)與隨后的行為結(jié)果和知覺(jué)判斷存在著相關(guān)。研究4采用腦電圖的功率譜分析探討了視聽(tīng)刺激出現(xiàn)前的振蕩活動(dòng)如何調(diào)節(jié)了對(duì)它們是否同時(shí)的辨別。相比于對(duì)視覺(jué)先的刺激序列做出不同時(shí)判斷，當(dāng)被試做出同時(shí)判斷時(shí)，刺激前約15～19Hz和42～45 Hz頻段的能量更弱，而相比于對(duì)聽(tīng)覺(jué)先的刺激序列做出不同時(shí)判斷，當(dāng)被試做出同時(shí)性判斷時(shí)，刺激前約23～28Hz和45～48 Hz頻段的能量更強(qiáng)。并

9、且，刺激前beta和gamma振蕩還能夠分別預(yù)測(cè)被試對(duì)兩種物理刺激序列的同時(shí)性報(bào)告，盡管趨勢(shì)剛好相反。這一結(jié)果表明持續(xù)的振蕩能夠預(yù)測(cè)隨后的視聽(tīng)同時(shí)性判斷，并且盡管兩種物理刺激序列都可能被知覺(jué)為同時(shí)，卻分別對(duì)應(yīng)于不同的神經(jīng)基礎(chǔ)，說(shuō)明主觀同時(shí)性其實(shí)不是同質(zhì)的。
　　總的來(lái)說(shuō)，研究1發(fā)現(xiàn)，同時(shí)性知覺(jué)和多感覺(jué)整合代表的外顯和內(nèi)隱計(jì)時(shí)的適應(yīng)后效既有相似也有差異。研究2表明視聽(tīng)事件間非常明顯的物理差異，特別是時(shí)間結(jié)構(gòu)的差異使得對(duì)它們各自時(shí)間關(guān)

10、系的適應(yīng)能夠同時(shí)且獨(dú)立地發(fā)生，即使兩個(gè)事件出現(xiàn)在同一空間位置。研究3證實(shí)，提供充分的空間線(xiàn)索能夠促進(jìn)時(shí)間與特征的綁定，而提供充分的特征線(xiàn)索卻干擾時(shí)間與空間的綁定。研究4發(fā)現(xiàn)，刺激前的高頻神經(jīng)振蕩能夠預(yù)測(cè)視聽(tīng)同時(shí)性判斷，并且對(duì)視覺(jué)先于聽(tīng)覺(jué)與聽(tīng)覺(jué)先于視覺(jué)的兩種刺激序列來(lái)說(shuō)其預(yù)測(cè)源是有差異的。這些研究結(jié)果為分布計(jì)時(shí)提供了新的證據(jù)，也提示我們，時(shí)序知覺(jué)的底層計(jì)時(shí)機(jī)制可能與空間維度存在緊密聯(lián)系，其最終報(bào)告的結(jié)果則可能受到高級(jí)認(rèn)知加工如知覺(jué)組織的影