總評法與分項法的測試交互性——外語課堂寫作測評方法成效對比研究.pdf

1、總評法與分項法是直接寫作測試中最常見的評分方法。兩種方法各有長短。在教學、研究中究竟選擇哪種方法一直是一個有爭議的問題。解決選擇難題的一個合理辦法就是參照Bachman和Palmer1996年提出的“測試有用性”質(zhì)量系統(tǒng)(Weigle，2002)。測試有用性包括六種質(zhì)量指標：信度、構建效度、真實性、交互性、后效以及實用性等。選擇哪種評分方法不在于優(yōu)化每一種指標，而在于根據(jù)特定測試語境，在六種質(zhì)量指標之間取得適當?shù)钠胶?。這六種質(zhì)量指標有的

2、被廣泛研究或應用于測試效度評估中，有的則不然。其中，以交互性的相關研究或應用最為鮮見。因此，關于寫作測試中評分法的測試交互性，我們只能推測：在考生知悉具體作文評分方法的條件下，他們與測試任務之間的交互作用可能會受到所選評分方法的影響。要回答這個問題，必須在實證中尋求答案。此外，長期以來，在寫作教學、測試實證研究中普遍使用統(tǒng)計顯著性檢驗，來分析數(shù)據(jù)、解釋結果。而顯著性表示的是研究本身的質(zhì)量而不是研究結果教育成效的意義。更可取的檢驗方法是統(tǒng)

3、計顯著性加上效果量計算(Robinson和Wainer,2001)。 基于上述考慮，本文旨在選取與以前不同的角度——測試交互性——來比較總評法與分項法在外語(母語為漢語)環(huán)境使用中的成效情況，采用教學干預、測量工具等手段來進行研究。參與研究的被試均為一所綜合性大學的二年級學生；實驗組(n=32)接受分項法作文評分，而控制組(n=25)接受總評法評分。研究問題從測試交互性的四個組成部分來著手：學生作文在語言知識方面的表現(xiàn)(包括“結

4、構”、“詞匯”和“語法”)、學生作文在話題知識方面的表現(xiàn)(即“內(nèi)容”)、學生對“情感投入問卷”的應答情況，以及學生對“修改問卷”的應答情況等。 基于教學的研究采用準實驗設計，即非等值前測-后測控制組實驗設計，來比較總評法、分項法的成效及相應效果量。同時，在準實驗設計中嵌入了重復測量設計，來檢查組內(nèi)前測、后測變化情況。整個測試設計是建立在教學設計的基礎之上，也是教學設計的核心。測試工具包括兩套評分法、五個寫作問題、“情感投入問卷”

5、以及.“修改問卷?！鼻皟煞N工具旨在探究學生在實驗課前和實驗課期間作文中的相關表現(xiàn)，而后兩種工具意在研析學生在寫作中情感、修改策略的變化情況。 與測試交互性的組成成份相適應，所收集的數(shù)據(jù)包括學生的作文成績和對兩種問卷的應答數(shù)值。其中，對學生的作文實施了雙人評分。數(shù)據(jù)分析分為兩個部分：組間分析與組內(nèi)分析，以前者為主。組間分析包括三個步驟：差異顯著性檢驗、效果量計算以及統(tǒng)計檢定力分析。組間分析結果顯示，除了在“詞匯”、“語言知識(總體

6、)”方面與控制組沒有實質(zhì)差別以外，實驗組在其他方面都有明顯的積極變化。具體結果如下：●語言知識：組間均分差為.67分(t=1.984，p＞.05)，效果量為.60，統(tǒng)計檢定力為.834◆結構：組間均分差為.85分(t=2.105，p＜.05)，效果量為.64，統(tǒng)計檢定力為.850；◆詞匯：組間均分差為.45分(t=1.385，p＞.05)，效果量為.42，統(tǒng)計檢定力為.752；◆語法：組間均分差為.70分(t=2.097，p＜.05)，

7、效果量為.63，統(tǒng)計檢定力為.846； ●話題知識：組間均分差為.83分(t=2.402，p＜.05)，效果量為.73，統(tǒng)計檢定力為.881； ●情感反應：組間均分差為9.01標準分(t=2.358，p＜.05)，效果量為.71，統(tǒng)計檢定力為.874； ●修改策略能力：組間均分差為7.74標準分(t=2.319，p＜.05)，效果量為.70，統(tǒng)計檢定力為.871。此外，組內(nèi)分析顯示兩組在各方面都有不同程度的提高。