A Study on Rater Bias Patterns in Rating CEPT Writing.pdf

1、為了對(duì)寫作分項(xiàng)評(píng)分和整體評(píng)分進(jìn)行進(jìn)一步研究,檢驗(yàn)其信度及評(píng)分偏差,本文主要通過項(xiàng)目反映理論及分析工具Facets對(duì)分項(xiàng)評(píng)分和整體評(píng)分進(jìn)行信度以及偏差分析,并總結(jié)評(píng)分員在對(duì)各個(gè)評(píng)分項(xiàng)目以及不同水平考生評(píng)分時(shí)表現(xiàn)出的偏差規(guī)律。其中,整體評(píng)分表現(xiàn)作為參照,將分項(xiàng)評(píng)分的各個(gè)維度的評(píng)分信度進(jìn)行比較。
　　研究步驟分為以下三步:1.對(duì)已有成績(jī)的寫作樣本分層抽樣,從高到低10個(gè)級(jí)別的300份作文;2.15位有足夠評(píng)分經(jīng)驗(yàn)并有代表性的評(píng)分員完成對(duì)

2、300篇作文的整體和分項(xiàng)2組評(píng)分實(shí)驗(yàn);3.對(duì)測(cè)試結(jié)果進(jìn)行初步檢驗(yàn),進(jìn)而進(jìn)行多側(cè)面分析,檢驗(yàn)評(píng)分信度并總結(jié)評(píng)分特點(diǎn)及規(guī)律。
　　研究結(jié)果顯示:(1)兩組評(píng)分具有相似的寬嚴(yán)度水平,分項(xiàng)總分的寬嚴(yán)度與整體評(píng)分十分接近并且其偏差水平最低,15位評(píng)分員的內(nèi)部一致性都較好,評(píng)分員9號(hào),12號(hào)和10號(hào)顯示出相對(duì)明顯的趨中趨勢(shì);(2)“分項(xiàng)總分”只與15號(hào)評(píng)分員有一組顯著性寬松偏差,10號(hào)評(píng)分員只對(duì)“語法”存在顯著性寬松偏差,評(píng)分維度中“標(biāo)點(diǎn)和大

3、小寫”與“任務(wù)”的顯著性偏差方向相反,“整體評(píng)分”與“任務(wù)”偏差方向相同;(3)顯著性寬松偏差明顯多于顯著性嚴(yán)格偏差,評(píng)分員更容易對(duì)高水平考生產(chǎn)生顯著性偏差,且呈現(xiàn)出對(duì)高水平學(xué)生更寬松和對(duì)低水平學(xué)生更嚴(yán)格傾向,1號(hào)評(píng)分員評(píng)不同水平作文不存在顯著性偏差,2號(hào)評(píng)分員的顯著性嚴(yán)格偏差多于寬松偏差,不同于其他評(píng)分員;(4)Facets能夠在探索系統(tǒng)性規(guī)律性偏差方面給出答案,并且結(jié)論有助于評(píng)分培訓(xùn)。
　　本研究結(jié)果表明在本研究樣本和對(duì)象的范