等級(jí)反應(yīng)多水平側(cè)面模型及其在主觀題評(píng)分中的應(yīng)用.pdf

1、隨著我國(guó)教育事業(yè)的發(fā)展，國(guó)家對(duì)“素質(zhì)教育”的重視程度日益增加，主觀題在教育考試中的使用率也不斷增加，因?yàn)槠淇梢院芎玫乜疾鞂W(xué)生的分析、綜合、歸納以及問題解決等能力。然而，在對(duì)主觀題進(jìn)行分?jǐn)?shù)的評(píng)定時(shí)，由于沒有標(biāo)準(zhǔn)答案，故需要額外的評(píng)分人員對(duì)其進(jìn)行評(píng)分，而在評(píng)分過(guò)程中，受各種因素的影響，評(píng)分者容易出現(xiàn)評(píng)分者效應(yīng)（rater effects），最終影響評(píng)分結(jié)果的準(zhǔn)確性，不利于測(cè)驗(yàn)的發(fā)展?；诖?，研究者提出并發(fā)展了一系列的評(píng)分者效應(yīng)的檢測(cè)方法，如

2、概化理論（Generalizability Theory, GT）、多面Rasch模型(Many-Facets RaschMoel，MFRM)，以及多水平隨機(jī)系數(shù)模型(Multilevel random coefficient model，MRCM)等。然而，這些方法依然還存在一些局限性，無(wú)法處理評(píng)分過(guò)程中遇到的所有問題。
　　本研究擬將項(xiàng)目反應(yīng)模型、多水平模型和評(píng)分者模型三者相結(jié)全，提出并探討一種既可以處理繼時(shí)性的加工任務(wù)，又可

3、以考察評(píng)分者影響因素，同時(shí)還可以準(zhǔn)確地檢測(cè)出各種評(píng)分者效應(yīng)的評(píng)分者模型，該模型被命名為等級(jí)反應(yīng)多水平側(cè)面模型(Grade Response Multilevel Facets Model，GR-MLFM)。該模型屬于非線性混合效應(yīng)模型范疇，包含了三個(gè)主要部分:隨機(jī)成分(the random component)、鏈接函數(shù)(the link function)以及非線性成分(the nonlinear component)。為驗(yàn)證模型的合

4、理性，本研究在MCMC方法基礎(chǔ)上通過(guò)兩個(gè)模擬研究和一個(gè)實(shí)證研究對(duì)其進(jìn)行論證。
　　模擬研究一主要論證的是等級(jí)反應(yīng)多水平側(cè)面模型(GR-MLFM)在不包含任何預(yù)測(cè)變量（即零模型）的情況下模型的返真性。50次重復(fù)試驗(yàn)的結(jié)果表明，GR-MLFM的參數(shù)估計(jì)值與真值之間的差異非常小，其在偏差值(Bias)、絕對(duì)百分比偏差(percentage bias，PB)和誤差均方根(RMSE)等3個(gè)指標(biāo)上的值均很小，說(shuō)明模型的擬合情況較為理想。與此同

5、時(shí)，研究還比較了GR-MLFM和Wang和Liu(2007)等提出的廣義多水平側(cè)面模型(G-MLFM)對(duì)數(shù)據(jù)的擬合情況，結(jié)果發(fā)現(xiàn)G-MLFM所得到的大部分參數(shù)估計(jì)值與真值有較大差異，并且其估計(jì)結(jié)果在4個(gè)指標(biāo)上的值相對(duì)較大，可見，G-MLFM的估計(jì)結(jié)果較差，說(shuō)明G-MLFM并不適用于繼時(shí)性加工任務(wù)情境下的評(píng)分者效應(yīng)分析，而GR-MLFM則比較適合于該任務(wù)情境，該結(jié)果論證了Tutz(1990)和Andrich(1995)兩位學(xué)者的觀點(diǎn)。

6、r>　　模擬研究二論證了GR-MLFM在包含被試和評(píng)分者預(yù)測(cè)變量（即完整模型）的條件下，模型的擬合情況。實(shí)驗(yàn)結(jié)果表明，除了評(píng)分者3的固定效應(yīng)值（γ30）與真值間的差異在.1以上外，其它的參數(shù)估計(jì)值與真值間的差異均在.1以內(nèi);同時(shí)，模型的各估計(jì)值在3個(gè)指標(biāo)上的值也相對(duì)較小，除γ30外，其PB值為10.101％，達(dá)到了‘顯著性偏差’的標(biāo)準(zhǔn)(PB≥10％)。可見，模型可以較準(zhǔn)確且穩(wěn)定地?cái)M合數(shù)據(jù)，具有較好的適用性。
　　研究三為實(shí)證研究，

7、其目的在于進(jìn)一步驗(yàn)證模型的實(shí)際評(píng)分任務(wù)中的功效。研究通過(guò)4個(gè)主觀題考察學(xué)生的數(shù)學(xué)問題解決能力。研究還將學(xué)生的性別和評(píng)分者的責(zé)任心、情緒穩(wěn)定性、自信心、以及評(píng)分經(jīng)驗(yàn)等4個(gè)變量納入到模型中，以考察評(píng)分任務(wù)中的評(píng)分者效應(yīng)。結(jié)果發(fā)現(xiàn)，所有20位評(píng)分員中，只有一個(gè)評(píng)分員存在顯著的寬松效應(yīng)，其他評(píng)分員的寬嚴(yán)度效應(yīng)不顯著。此外，學(xué)生的性別對(duì)學(xué)生的數(shù)學(xué)問題解決能力沒有預(yù)測(cè)作用，且不同性別學(xué)生的數(shù)學(xué)問題解決能力沒有差異。而評(píng)分者的2個(gè)預(yù)測(cè)變量則對(duì)其評(píng)分結(jié)