允許檢查并修改答案的CAT研究.pdf

1、過去的十年里，計(jì)算機(jī)化白適應(yīng)測驗(yàn)(CAT)已經(jīng)取代紙筆測驗(yàn)(P&P)成為許多大規(guī)模標(biāo)準(zhǔn)化測驗(yàn)的考試形式。目前，許多CAT測驗(yàn)的研究與應(yīng)用存在著局限性，因?yàn)榇蠖鄶?shù)的CAT不允許被試檢查并修改答案。對(duì)被試來說，不允許返回檢查并修改答案會(huì)給他們帶來測驗(yàn)壓力并影響其表現(xiàn)；對(duì)CAT考試機(jī)構(gòu)來說，不允許被試檢查并修改答案主要是擔(dān)心：被試在檢查修改階段通過使用Wainer策略獲得正偏的能力估計(jì)值，影響測驗(yàn)的公平性、公正性和準(zhǔn)確性。如果能夠提供這樣一種

2、解決方案，既允許被試檢查并修改答案，又能夠?qū)Ω禬ainer策略，其意義是不言而喻的。目前關(guān)于這方面的研究，國內(nèi)刊物未見報(bào)導(dǎo)，國外研究也不多。相關(guān)研究存在的問題是，研究者僅僅記錄修改后的答案并僅根據(jù)該記錄評(píng)分，而對(duì)修改前的作答信息不予考慮。本文在對(duì)允許檢查并修改答案的CAT進(jìn)行研究的基礎(chǔ)上，提出新的評(píng)分方式(式中符號(hào)見本文用到的主要符號(hào)說明)：Vaj=Uaj×Beta+Ua，f+m×11一Beta)綜合考慮修改前后的作答信息，并根據(jù)相應(yīng)估

3、計(jì)試圖對(duì)付Wainer策略。 本文實(shí)驗(yàn)一采用MonteCarlo方法自編計(jì)算機(jī)程序模擬允許檢查并修改答案的CAT，以考察不同的Beta值對(duì)能力估計(jì)的影響。研究結(jié)果表明：(1)相對(duì)于只考慮被試在自適應(yīng)階段的作答信息(Beta=1)或只考慮被試在檢查修改階段的作答信息(Beta=0)，綜合考慮被試的兩次作答信息能夠產(chǎn)生更加精確的能力估計(jì)值，尤其以Beta=O．5時(shí)能力估計(jì)的修復(fù)能力最強(qiáng)；(2)大部分的被試進(jìn)行了修改；只有少部分的答案

4、被修改；在被修改的答案中，大部分的答案是由錯(cuò)誤改為正確，少部分的答案是由正確改為錯(cuò)誤。實(shí)驗(yàn)二通過模擬測驗(yàn)數(shù)據(jù)，在評(píng)價(jià)Wainer策略有效性的基礎(chǔ)上，試圖采用新的評(píng)分方式對(duì)付Wainer策略。模擬結(jié)果表明：(1)在新的評(píng)分方式下，WainerStrategyCAT產(chǎn)生的能力估計(jì)值與能力真值存在著非常大的偏差，而且偏差隨能力真值的增加而增加，并不能有效地對(duì)付Wainer策略；(2)當(dāng)Beta：0時(shí)，綜合WainerStrategyCAT的E