powertemplate-北師大計(jì)算機(jī)公共課教學(xué)服務(wù)平臺(tái)

1、多媒體信息呈現(xiàn)方式的行為研究,,答辯人: 詹 林導(dǎo) 師: 專 業(yè): 教育技術(shù)學(xué),,,論文框架,,研究問題與過程,結(jié)果分析與討論,結(jié)論局限,文獻(xiàn)綜述,,,文獻(xiàn)綜述,,,,,媒體多媒體多媒體學(xué)習(xí),雙重編碼理論記憶容量有限理論認(rèn)知負(fù)荷理論多媒體學(xué)習(xí)三個(gè)假設(shè)Mayer的多媒體學(xué)習(xí)理論,國內(nèi)多媒體學(xué)習(xí)的相關(guān)研究國外多媒體學(xué)習(xí)的相關(guān)研究,多媒體相關(guān)概念,多媒體學(xué)習(xí)的相關(guān)理論,多媒體學(xué)習(xí)的相關(guān)研究,01,02,0

2、3,文獻(xiàn)綜述,媒體,媒體是指在信息的傳遞過程中，在傳者與受者之間承載和傳遞信息的任何物質(zhì)工具或載體。 現(xiàn)代傳播技術(shù)與媒體的發(fā)展正潛移默化地改變這人們的生活，使人類的視野更加開闊，對事物的觀察能力提高了，人們對信息和經(jīng)驗(yàn)的表達(dá)能力大大增強(qiáng)，再不僅僅局限于早期的口耳傳授教育形式。,,多媒體,多媒體(multimedia)可以簡單地理解為將文字、圖形、聲音、圖像、動(dòng)畫等多種信息媒介進(jìn)行有機(jī)的組合并加以處理的媒體。 Mayer將多媒體定義為

3、用文本和畫面來共同呈現(xiàn)材料 文本打印文本 (Priniedtext)口頭文本 (spekentext) 畫面靜態(tài)圖形（包括插圖、圖表、照片和地圖等） 動(dòng)態(tài)畫面（包括動(dòng)畫、錄像和視頻剪輯等）,,多媒體學(xué)習(xí),傳輸媒體觀——多媒體是指使用一種以上的傳遞設(shè)備來呈現(xiàn)學(xué)習(xí)材料，這是從技術(shù)的角度來講的。 呈現(xiàn)模式觀——多媒體是指使用一種以上的信息呈現(xiàn)方式來呈現(xiàn)學(xué)習(xí)材料，這里關(guān)注的是材料被表征和編碼的方式。感覺通道觀——多媒體呈現(xiàn)要能使

4、學(xué)習(xí)者使用多種感覺通道對信息來進(jìn)行加工。感覺通道觀主要關(guān)注到的是學(xué)習(xí)者信息加工的活動(dòng)中使用的感覺接收器。,,雙重編碼理論,,,記憶容量有限理論,theory of limited memory storageMiller于1956年提出的，并以實(shí)驗(yàn)驗(yàn)證對數(shù)字記憶的廣度為7±2個(gè)組塊圖片的記憶廣度大約是5到7個(gè)組塊,,資源有限理論,圖式理論,,,,認(rèn)知負(fù)荷理論,,多媒體學(xué)習(xí)的三個(gè)假設(shè),,,,,,,,,,人們對視覺表征材料和

5、聽覺表征材料擁有單獨(dú)的信息加工通道。,人在每個(gè)通道中的加工容量還是非常有限的（7±2個(gè)組塊）,主動(dòng)加工過程：形成注意、組織新進(jìn)入的信息、將新進(jìn)入的信息與其他知識(shí)進(jìn)行整合,雙向通道假設(shè),容量有限假設(shè),主動(dòng)加工假設(shè),,Mayer的多媒體學(xué)習(xí)認(rèn)知理論,這個(gè)模型通過五個(gè)步驟激活：l)為言語工作記憶選擇相關(guān)的詞語2)為視覺工作記憶選擇相關(guān)的圖像3)將所選擇的詞語組織到一個(gè)言語心理模型4)將所選擇的圖像組織到一個(gè)視覺心理模型5)

6、將言語和視覺呈現(xiàn)并與先前知識(shí)三者整合,,,,,,,,,,,,,多媒體信息設(shè)計(jì)的十大原則,,,,,,國外多媒體學(xué)習(xí)的相關(guān)研究,多媒體教學(xué)設(shè)計(jì)的兩種取向,多媒體學(xué)習(xí)的三種結(jié)果,多媒體學(xué)習(xí)認(rèn)知過程的五個(gè)步驟,,多媒體教學(xué)設(shè)計(jì)的兩種取向,,,多媒體學(xué)習(xí)相關(guān)研究,,,,,,,,,,,,,,,,,機(jī)械學(xué)習(xí),無效學(xué)習(xí),有意義的學(xué)習(xí),,,多媒體學(xué)習(xí)的三種結(jié)果,,,,,,,,step1,step2,step 3,step 4,step 5,選擇相關(guān)的文字

7、,選擇相關(guān)的圖像,組織所選擇的文字,組織所選擇的圖像,將基于文字和基于圖像的表征進(jìn)行整合,,,,,,多媒體學(xué)習(xí)認(rèn)知過程的五個(gè)步驟,,,,空間鄰近原則,,,雙向通道原則,控制冗余原則,切塊呈現(xiàn)原則,,,多媒體信息設(shè)計(jì)的十大原則,聚焦要義原則,個(gè)體差異原則,,,,,多媒體認(rèn)知原則,時(shí)間接近原則,提示結(jié)構(gòu)原則,對話風(fēng)格原則,,,,,研究問題與過程,,新疆實(shí)施雙語教學(xué)的大環(huán)境下，新疆師范大學(xué)實(shí)施免費(fèi)師范生后，民漢混合編班進(jìn)行漢語授課的諸多問題,

8、多媒體教學(xué)的普及應(yīng)用,與Mayer研究的不同,,,,實(shí)驗(yàn)對象,材料的呈現(xiàn)方式,實(shí)驗(yàn)方法,,問題的提出,研究的問題,多媒體學(xué)習(xí),民族差異？,⑴在基于計(jì)算機(jī)的多媒體學(xué)習(xí)環(huán)境下，漢族和少數(shù)民族學(xué)習(xí)者（民考漢或雙語實(shí)驗(yàn)班學(xué)習(xí)者）之間是否存在差異。,性別差異？,⑵在基于計(jì)算機(jī)的多媒體學(xué)習(xí)環(huán)境下，男生和女生的多媒體學(xué)習(xí)效果是否存在性別差異。,通道效應(yīng)？,⑶在基于計(jì)算機(jī)的多媒體學(xué)習(xí)環(huán)境下，學(xué)習(xí)材料以“視頻+解說”和“視頻+字幕”（視頻和字幕的呈現(xiàn)符

9、合空間接近原則）的形式呈現(xiàn)給學(xué)習(xí)者，研究此種情況下通道效應(yīng)是否存在。,冗余效應(yīng)？,⑷在基于計(jì)算機(jī)的多媒體學(xué)習(xí)環(huán)境下，學(xué)習(xí)材料以“視頻+解說”和“視頻+解說+字幕”的形式呈現(xiàn)給學(xué)習(xí)者，研究此種情況下冗余效應(yīng)是否存在。,“學(xué)習(xí)-再認(rèn)”,被試間,2民族（漢、少數(shù)民族）,3種呈現(xiàn)方式,E-Prime,實(shí)驗(yàn)設(shè)計(jì),E-Prime簡介,E-Prime是實(shí)現(xiàn)心理實(shí)驗(yàn)計(jì)算機(jī)化的一個(gè)可視化編程語言平臺(tái)，是一個(gè)涵蓋實(shí)驗(yàn)生成到毫秒精度的數(shù)據(jù)收集分析的應(yīng)用軟件套

10、裝。 功能：實(shí)驗(yàn)設(shè)計(jì)、生成、運(yùn)行、收集數(shù)據(jù)、編輯和預(yù)處理分析數(shù)據(jù),Eprime的優(yōu)點(diǎn),E-Prime能呈現(xiàn)的刺激可以是文本、圖像和聲音（可以同時(shí)呈現(xiàn)三者的任意組合）提供了詳細(xì)的時(shí)間信息和事件細(xì)節(jié)（包括呈現(xiàn)時(shí)間、反應(yīng)時(shí)間的細(xì)節(jié)），可供進(jìn)一步分析，有助于了解實(shí)際實(shí)驗(yàn)運(yùn)行的時(shí)間問題專門面向心理實(shí)驗(yàn)，并針對心理實(shí)驗(yàn)的時(shí)間精度作了優(yōu)化。刺激呈現(xiàn)與屏幕刷新同步，精度可達(dá)毫秒,,,,性別：男性 女性,族別：漢族

11、 少數(shù)民族,被試分組：1組 2組 3組,,,,,,,,39%,47%,34%,61%,53%,33%,,33%,,,,本實(shí)驗(yàn)的被試選自新疆師范大學(xué)2011級(jí)的49名健康大學(xué)生。年齡17-19歲；被試均為視力正?；虺C正后視力正常；聽力正常；被試上肢手指齊全且可進(jìn)行靈活操作。,研究對象分析,被試分組,,,49名被試隨機(jī)分組,呈現(xiàn)方式,,,,1組視頻+字幕,2

12、組視頻+解說,3組視頻+字幕+解說,,,,結(jié)果分析與討論,民族差異分析,2. 正確率：R漢>R民 Sig=0.008,1. 反應(yīng)時(shí)：T漢<T民 Sig=0.041,,,,,,,,,,,少數(shù)民族,漢族,少數(shù)民族,漢族,,反應(yīng)時(shí),2317.0毫秒,1903.5毫秒,0.745192,0.

13、847826,,正確率,差異顯著！,差異顯著！,,,正確率,,,T男<T女 ，Sig=0.042,R男>R女 ，Sig=0.155,50%,反應(yīng)時(shí),1850.8毫秒,0.770833,0.828947,性別差異分析,2295.3毫秒,,性別：男性 女性,,,,39%,61%,,差異顯著！,差異不顯著！,信息呈現(xiàn)方式分析,,,,,,,,反應(yīng)時(shí),正確率,T2=1891.9ms,T3=2579.7ms,R1=

14、0.823529,,,,,1組：圖文組,2組：圖聲組,3組：圖文聲組,R2=0.835938,R3=0.718750,T1=1910.4ms,,,,,,,,R2>R1>R3,Sig=0.008,T3>T1>T2,Sig=0.028,差異顯著！,差異顯著！,反應(yīng)時(shí)組間差異的事后檢驗(yàn),,冗余效應(yīng)極其顯著！,通道效應(yīng)不顯著！,正確率組間差異的事后檢驗(yàn),通道效應(yīng)不顯著！,冗余效應(yīng)顯著！,,,研究結(jié)論與局限,,,,,,,,

15、,研究結(jié)論,性別差異,多媒體呈現(xiàn)方式,正確率差異不顯著,通道效應(yīng)不顯著,冗余效應(yīng)顯著,多媒體呈現(xiàn)方式在男女生對知識(shí)的正確習(xí)得上的影響不顯著。,在忽略學(xué)習(xí)者民族差異的情況下，通道效應(yīng)不顯著（材料，文字短，民族）,盡管在忽略學(xué)習(xí)者民族差異的情況下，冗余效應(yīng)仍顯著。,,,民族差異顯著,學(xué)習(xí)者的不同民族屬性對其在多媒體學(xué)習(xí)環(huán)境下的學(xué)習(xí)效果影響顯著。,通道選擇的必要性；圖示簡單，文、聲均可；圖示復(fù)雜，口頭解說；參考內(nèi)容，書面文字。,事先了解

16、學(xué)習(xí)對象民族組成；根據(jù)學(xué)習(xí)者的民族成分來設(shè)計(jì)多媒體信息的呈現(xiàn)方式,盡量用最少的呈現(xiàn)方式和媒體形式把問題說明白；圖意自明，無需解釋；需要解釋，只選一種。,教學(xué)建議,,,,,,,,,,,,,,,,,,民族差異,通道選擇,控制冗余,本研究的局限性：,,,,,,學(xué)習(xí)材料,被試數(shù)量,被試前檢測,測試題目,研究局限,,,,,被試已有經(jīng)驗(yàn)的影響,測試題目的編寫,49名被試,3分22秒的自然科學(xué)的視頻材料,,,請老師們批評指正！,Thank Yo

17、u!,,,ERP實(shí)驗(yàn)流程,E-Prime實(shí)驗(yàn)流程,腦功能分區(qū),,,,自發(fā)腦電(EEG)與平均電位(ERPs/EP)的比較,,被試在執(zhí)行任務(wù)時(shí),我們用內(nèi)置于電極帽的電極記錄EEG。EEG被放大2萬倍，然后轉(zhuǎn)換為數(shù)字形式為了儲(chǔ)存在硬盤中。刺激被呈現(xiàn)的同時(shí)，刺激端計(jì)算機(jī)都會(huì)發(fā)送標(biāo)記碼到EEG的數(shù)字化端計(jì)算機(jī)，這臺(tái)計(jì)算機(jī)將它們和EEG數(shù)據(jù)一起存儲(chǔ)。,記錄時(shí)，我們在數(shù)字化端計(jì)算機(jī)上觀看EEG，但看不清刺激誘發(fā)的反應(yīng)。因?yàn)樵诖蟮枚嗟腅EG中，由刺激

18、誘發(fā)的ERPs/EP反應(yīng)太小了。下圖顯示了在某個(gè)被試的某個(gè)電極位置（Pz,在中線頂葉上）記錄到的一段9秒鐘的EEG。如果仔細(xì)觀察，我們可以看到對每個(gè)刺激的反應(yīng)具有某種一致性，但很難看出這些反應(yīng)究竟是什么樣子。,記錄結(jié)束后,我們進(jìn)行簡單的信號(hào)平均，提取出由X和O誘發(fā)的ERPs(參閱下圖)。具體來說，我們提取包含了X和O的EEG分段，并把這些EEG分段按照標(biāo)記碼(標(biāo)記于每個(gè)刺激的起始點(diǎn))對齊。然后我們將這些單試次的波形進(jìn)行簡單的疊加平均，從

19、而在每個(gè)電極位置上生成對X和O的平均ERPs波形。,二、主要ERP成分及經(jīng)典研究,ERP的先驅(qū)研究者經(jīng)過四十多年的積累，發(fā)現(xiàn)了一些經(jīng)典的ERP成分，在發(fā)現(xiàn)這些成分時(shí)所使用的一些研究方法對于后來者有啟發(fā)?！∑渲信c認(rèn)知加工研究密切相關(guān)的成分主要包括P50、P300、MMN、和N400等。,1.聽覺誘發(fā)電位P50,大腦對感覺刺激信息輸入的調(diào)節(jié)能力是大腦正常功能之一,其本質(zhì)是大腦的抑制功能,該功能被稱為感覺門（sensory gating,S

20、G),是反映大腦對傳入無關(guān)刺激的一種正常自動(dòng)調(diào)節(jié)能力。,2.事件相關(guān)電位P300,在發(fā)現(xiàn)P300時(shí)使用了一個(gè)稱為Oddball的經(jīng)典ERP實(shí)驗(yàn)范式。Oddball實(shí)驗(yàn)范式的要點(diǎn)是，對同一感覺通道施加兩種刺激，通過微機(jī)程序給出一系列出現(xiàn)概率較高（80%）的非靶刺激NTS（1000Hz音頻、60dB）中，再隨機(jī)給出一系列出現(xiàn)概率較低（20%）的靶刺激TS（2000Hz音頻、80dB）（又稱為oddball刺激或奇球刺激）。對TS、對NTS

21、分別作按鍵反應(yīng)的過程中，頭皮表面可記錄到與TS同步的認(rèn)知電位反應(yīng)P300。,研究發(fā)現(xiàn)P300的波幅與所投入的心理資源量成正相關(guān)，反映了心理負(fù)荷的量，其潛伏期隨任務(wù)難度增加而變長。P300受記憶力直接影響——測謊的主要指標(biāo)P300潛伏期：視覺P300>聽覺P300>體感P300,3.語言相關(guān)電位N400,N400是ERPs的晚成分之一, 它是由Kutas和Hillyard最先發(fā)現(xiàn)的。他們給被試視覺呈現(xiàn)由幾個(gè)單詞組成的句子,

22、 其中75%的句子的意思是合理的, 而另外25%的句子的末尾出現(xiàn)了歧義, 與句子的語境不相符。結(jié)果發(fā)現(xiàn)這25%的句子誘發(fā)了一個(gè)潛伏期范圍在300到600毫秒之間的負(fù)波, 該負(fù)波的波幅在400毫秒左右達(dá)到最大值, 因此稱之為N400。,N400 的特點(diǎn),N400 是ERPs 的一個(gè)內(nèi)源性成分, 為語言認(rèn)知事件相關(guān)電位中的一個(gè)負(fù)相波, 反映了大腦皮層對語言的認(rèn)知加工過程, 并且可從N400的波幅、潛伏期及頭皮分布特征等多個(gè)方面來描述腦語言認(rèn)

23、知加工過程。波幅顯示了腦語言認(rèn)知加工的難易程度, 潛伏期反映了語言認(rèn)知加工的時(shí)間進(jìn)程, 頭皮分布特征表明語言認(rèn)知過程的腦內(nèi)源。這三個(gè)指標(biāo)可用來描述語言精細(xì)加工過程。N400在頭部各腦區(qū)均可見到，以顳頂枕最大，Cz、 Pz點(diǎn)記錄明顯。皮質(zhì)下記錄提示，顳葉可能是N400的重要發(fā)生源之一。,4.失匹配負(fù)波MMN,MMN的產(chǎn)生條件失匹配負(fù)波(MMN) 是美國人Näätänen等于1978年發(fā)現(xiàn)的，其早期實(shí)驗(yàn)與

24、P300一樣，也是采用Oddball模式，分為主動(dòng)和被動(dòng)兩種模式。 主動(dòng)模式是在重復(fù)出現(xiàn)的大概率信號(hào)(非靶刺激)中隨機(jī)插入刺激參數(shù)不同的小概率信號(hào)(靶刺激)，令被試者辨認(rèn)小概率刺激信號(hào)。被動(dòng)模式是使受試者不注意所有刺激信號(hào)。以上兩種模式的小概率信號(hào)均可產(chǎn)生MMN，而大概率信號(hào)則不能產(chǎn)生MMN。 MMN亦屬于內(nèi)源性事件相關(guān)電位，潛伏期為1OO-25Oms。,MMN的特點(diǎn),MMN的出現(xiàn)與受試者對聲音的注意與否無關(guān)，反映的是感覺系統(tǒng)對刺

25、激改變的自動(dòng)加工過程。已基本證明MMN的來源有兩處, 分別為顳葉初級(jí)聽覺皮質(zhì)和額葉次級(jí)聽覺皮質(zhì)。MMN反映的是聽覺自動(dòng)加工過程。,MMN的臨床應(yīng)用,MMN屬于聽覺事件相關(guān)電位，反映的是對信息的自動(dòng)加工過程，MMN可以在無須注意及任務(wù)要求的前提下進(jìn)行測定，所以MMN適合測試不同的臨床患者及嬰幼兒，它可以提供大腦對不同聲刺激的反應(yīng)及加工過程。MMN在神經(jīng)精神疾患的臨床研究中已有部分應(yīng)用, 由于MMN能夠在無意識(shí)或非注意狀態(tài)下產(chǎn)生,為常規(guī)

26、檢查難以配合的患者提供了一個(gè)較好的客觀測量指標(biāo), 對精神科、神經(jīng)科重癥病人認(rèn)知障礙的診斷具有重要意義。,A. Study Phase(14 faces, SOA 3s, duration 1s),B. Test Phase (28 faces, repeated 50%, SOA 3.2s, duration 1s),,理,,張,理,舒,Time,Learning Stage,TestStage,,Old,,New,,1st