總評法與分項法的測試交互性——外語課堂寫作測評方法成效對比研究.pdf

1、總評法與分項法是直接寫作測試中最常見的評分方法。兩種方法各有長短。在教學(xué)、研究中究竟選擇哪種方法一直是一個有爭議的問題。解決選擇難題的一個合理辦法就是參照Bachman和Palmer1996年提出的“測試有用性”質(zhì)量系統(tǒng)(Weigle，2002)。測試有用性包括六種質(zhì)量指標(biāo)：信度、構(gòu)建效度、真實性、交互性、后效以及實用性等。選擇哪種評分方法不在于優(yōu)化每一種指標(biāo)，而在于根據(jù)特定測試語境，在六種質(zhì)量指標(biāo)之間取得適當(dāng)?shù)钠胶?。這六種質(zhì)量指標(biāo)有的

2、被廣泛研究或應(yīng)用于測試效度評估中，有的則不然。其中，以交互性的相關(guān)研究或應(yīng)用最為鮮見。因此，關(guān)于寫作測試中評分法的測試交互性，我們只能推測：在考生知悉具體作文評分方法的條件下，他們與測試任務(wù)之間的交互作用可能會受到所選評分方法的影響。要回答這個問題，必須在實證中尋求答案。此外，長期以來，在寫作教學(xué)、測試實證研究中普遍使用統(tǒng)計顯著性檢驗，來分析數(shù)據(jù)、解釋結(jié)果。而顯著性表示的是研究本身的質(zhì)量而不是研究結(jié)果教育成效的意義。更可取的檢驗方法是統(tǒng)

3、計顯著性加上效果量計算(Robinson和Wainer,2001)。 基于上述考慮，本文旨在選取與以前不同的角度——測試交互性——來比較總評法與分項法在外語(母語為漢語)環(huán)境使用中的成效情況，采用教學(xué)干預(yù)、測量工具等手段來進行研究。參與研究的被試均為一所綜合性大學(xué)的二年級學(xué)生；實驗組(n=32)接受分項法作文評分，而控制組(n=25)接受總評法評分。研究問題從測試交互性的四個組成部分來著手：學(xué)生作文在語言知識方面的表現(xiàn)(包括“結(jié)

4、構(gòu)”、“詞匯”和“語法”)、學(xué)生作文在話題知識方面的表現(xiàn)(即“內(nèi)容”)、學(xué)生對“情感投入問卷”的應(yīng)答情況，以及學(xué)生對“修改問卷”的應(yīng)答情況等。 基于教學(xué)的研究采用準(zhǔn)實驗設(shè)計，即非等值前測-后測控制組實驗設(shè)計，來比較總評法、分項法的成效及相應(yīng)效果量。同時，在準(zhǔn)實驗設(shè)計中嵌入了重復(fù)測量設(shè)計，來檢查組內(nèi)前測、后測變化情況。整個測試設(shè)計是建立在教學(xué)設(shè)計的基礎(chǔ)之上，也是教學(xué)設(shè)計的核心。測試工具包括兩套評分法、五個寫作問題、“情感投入問卷”

5、以及.“修改問卷?！鼻皟煞N工具旨在探究學(xué)生在實驗課前和實驗課期間作文中的相關(guān)表現(xiàn)，而后兩種工具意在研析學(xué)生在寫作中情感、修改策略的變化情況。 與測試交互性的組成成份相適應(yīng)，所收集的數(shù)據(jù)包括學(xué)生的作文成績和對兩種問卷的應(yīng)答數(shù)值。其中，對學(xué)生的作文實施了雙人評分。數(shù)據(jù)分析分為兩個部分：組間分析與組內(nèi)分析，以前者為主。組間分析包括三個步驟：差異顯著性檢驗、效果量計算以及統(tǒng)計檢定力分析。組間分析結(jié)果顯示，除了在“詞匯”、“語言知識(總體

6、)”方面與控制組沒有實質(zhì)差別以外，實驗組在其他方面都有明顯的積極變化。具體結(jié)果如下：●語言知識：組間均分差為.67分(t=1.984，p＞.05)，效果量為.60，統(tǒng)計檢定力為.834◆結(jié)構(gòu)：組間均分差為.85分(t=2.105，p＜.05)，效果量為.64，統(tǒng)計檢定力為.850；◆詞匯：組間均分差為.45分(t=1.385，p＞.05)，效果量為.42，統(tǒng)計檢定力為.752；◆語法：組間均分差為.70分(t=2.097，p＜.05)，

7、效果量為.63，統(tǒng)計檢定力為.846； ●話題知識：組間均分差為.83分(t=2.402，p＜.05)，效果量為.73，統(tǒng)計檢定力為.881； ●情感反應(yīng)：組間均分差為9.01標(biāo)準(zhǔn)分(t=2.358，p＜.05)，效果量為.71，統(tǒng)計檢定力為.874； ●修改策略能力：組間均分差為7.74標(biāo)準(zhǔn)分(t=2.319，p＜.05)，效果量為.70，統(tǒng)計檢定力為.871。此外，組內(nèi)分析顯示兩組在各方面都有不同程度的提高。