視覺與聽覺跨模態(tài)轉(zhuǎn)換的認(rèn)知和應(yīng)用研究.pdf

1、在日常生活中,人類時時刻刻都在攝取來自不同感官的各種信息,為了完成不同的認(rèn)知任務(wù),我們可能需要將注意力在各個感官通道上進(jìn)行來回切換;當(dāng)有的感官通道受到不可逆的損傷時,我們希望通過從其他感官獲取相關(guān)信息來進(jìn)行替代。本文主要圍繞視覺與聽覺跨模態(tài)轉(zhuǎn)換闡述碩士期間的兩項工作:其一,視覺與聽覺跨模態(tài)轉(zhuǎn)換的認(rèn)知過程研究。本文采用行為學(xué)實驗和腦電分析的方法,討論了這種自上而下的注意力切換的行為學(xué)和電生理特征,對比了注意力從聽覺切換到視覺與從視覺切換到

2、聽覺的不同特性,計算了感官間注意力切換所需要的時間以及對應(yīng)的腦電成分,并使用事件相關(guān)電位(ERP)這種高時間分辨率的方法確定了接到注意力轉(zhuǎn)移的任務(wù)以后,開始注意力轉(zhuǎn)移的時間點。我們發(fā)現(xiàn),注意力從視覺切換到聽覺約需要152ms,而從聽覺切換到視覺只需要約96ms。對于事件相關(guān)電位,聽覺提示誘發(fā)的N1、P2幅值均比視覺提示誘發(fā)的大。注意力從視覺轉(zhuǎn)移到聽覺誘發(fā)了額葉和中央?yún)^(qū)一個2μV左右的負(fù)波,而視覺注意力的保持則表現(xiàn)為一個接近基線的信號;聽

3、覺注意力的保持誘發(fā)了一個位于額葉和中央?yún)^(qū)的2μV左右的負(fù)波,而注意力從聽覺轉(zhuǎn)移到視覺的過程卻表現(xiàn)為一個接近基線的信號?？紤]到ERP波形幅值反映了認(rèn)知資源的分配,這很好地驗證了“視覺主導(dǎo)認(rèn)知過程(visual dominance)”的觀點。此外,注意力的轉(zhuǎn)移會造成聽覺刺激誘發(fā)的ERP幅值增加,對于視覺刺激恰好相反,感官間的注意力切換會造成視覺刺激誘發(fā)的ERP幅值減小,我們猜測,這種現(xiàn)象與聽覺對于注意力的自吸引效應(yīng)和視覺注意力水平可能有一定

4、關(guān)系。其二,基于聽覺代替視覺的助盲系統(tǒng)SoundView升級優(yōu)化工作。為了實現(xiàn)聽覺代替視覺的目標(biāo),我們搭建了聽覺引導(dǎo)助盲系統(tǒng)SoundView,它通過識別環(huán)境中的某些物體編碼相應(yīng)的語音播放給盲人聽,告知盲人環(huán)境中重要物體的名稱和方位。聽覺引導(dǎo)助盲系統(tǒng)SoundView通過攝像頭采集視頻輸入嵌入式系統(tǒng)進(jìn)行數(shù)字圖像處理和特征識別,根據(jù)特定物體所處位置構(gòu)建三維立體聲序列,盲人能夠通過聲音序列的不同區(qū)別物體,并利用三維立體聲判斷物體方位。為了避

5、免復(fù)雜的模式識別算法,我們用條形碼標(biāo)記環(huán)境中的重要物體幫助識別。本課題前期已經(jīng)完成了SoundView系統(tǒng)整體搭建,但是已有的系統(tǒng)存在處理速度過慢、有效識別范圍過小等問題。為了改善系統(tǒng)性能,使SoundView更加具有實用價值,我們使用長焦鏡頭和分段特征識別算法擴(kuò)展了有效距離,同時簡化圖像處理程序、使用系統(tǒng)庫函數(shù)節(jié)省計算資源,大大提升了SoundView的處理速度,使得在0.5m-6.5m的范圍內(nèi)可以以12幀/秒以上的速度進(jìn)行有效的條形