層級(jí)一致性指標(biāo)的多級(jí)評(píng)分拓展.pdf

1、認(rèn)知診斷評(píng)估(Cognitive Diagnosis Assessment，CDA)以反應(yīng)學(xué)生認(rèn)知過(guò)程的認(rèn)知模型為基礎(chǔ)，對(duì)個(gè)體的認(rèn)知過(guò)程、知識(shí)結(jié)構(gòu)進(jìn)行診斷評(píng)估。CDA中認(rèn)知模型準(zhǔn)確、合理至關(guān)重要，直接影響認(rèn)知診斷的準(zhǔn)確性。目前，關(guān)于認(rèn)知模型合理性驗(yàn)證的指標(biāo)均針對(duì)0-1計(jì)分?jǐn)?shù)據(jù)，而面對(duì)多級(jí)計(jì)分測(cè)驗(yàn)情境，研究者往往將其轉(zhuǎn)換為0-1計(jì)分，這會(huì)損失部分信息造成對(duì)認(rèn)知模型不精確的評(píng)價(jià)。據(jù)此，本研究將0-1計(jì)分層級(jí)一致性指標(biāo)(Hierarchy C

2、onsistency Index，HCI)拓展為多級(jí)計(jì)分層級(jí)一致性指標(biāo)(GeneralizedHierarchy Consistency Index，GHCI)，并探討了GHCI的穩(wěn)定性與精確性。
　　研究分為5個(gè)子研究。研究1拓展了層級(jí)一致性指標(biāo)，并針對(duì)不同得分情況說(shuō)明GHCI的可行性、采用具體例子說(shuō)明GHCI特點(diǎn)。研究2通過(guò)模擬研究將GHCI、不同轉(zhuǎn)換比例下的HCI進(jìn)行比較，并說(shuō)明HCI在多級(jí)計(jì)分中隨轉(zhuǎn)換比例的變化。研究3通過(guò)

3、模擬研究探討GHCI對(duì)不同層級(jí)結(jié)構(gòu)錯(cuò)誤（錯(cuò)層、顛倒、有變無(wú)、無(wú)變有）的靈敏性。研究4通過(guò)模擬研究探討GHCI對(duì)被試不同類型異常反應(yīng)的靈敏性。研究5采用GHCI分析小學(xué)數(shù)學(xué)應(yīng)用題問(wèn)題解決中認(rèn)知模型的合理性并檢測(cè)異常反應(yīng)被試，以說(shuō)明GHCI在教育實(shí)踐中的適用性。具體研究結(jié)果如下:
　　(1)本研究對(duì)GHCI的拓展是可行的、合理的。GHCI針對(duì)多級(jí)計(jì)分的不同得分情況是可行的，可用于混合計(jì)分?jǐn)?shù)據(jù)。GHCI較HCI具有一定的優(yōu)勢(shì)，對(duì)被試反應(yīng)

4、的評(píng)價(jià)更細(xì)致和準(zhǔn)確。
　　(2)對(duì)各屬性層級(jí)結(jié)構(gòu)下多級(jí)計(jì)分?jǐn)?shù)據(jù)的模擬中，GHCI均值顯著大于各種轉(zhuǎn)換比例下的HCI均值，HCI低估了被試數(shù)據(jù)與認(rèn)知模型的一致性。HCI受到轉(zhuǎn)換比例的影響。隨轉(zhuǎn)換比例的提高，不同屬性層級(jí)結(jié)構(gòu)中HCI變化情況各不相同。
　　(3) GHCI對(duì)層級(jí)關(guān)系錯(cuò)誤具有靈敏性。針對(duì)不同類型的層級(jí)關(guān)系錯(cuò)誤，GHCI均表現(xiàn)出隨著錯(cuò)誤程度的加深，其均值的降幅逐漸增大。GHCI對(duì)不同類型的層級(jí)關(guān)系錯(cuò)誤的靈敏性不同:在

5、層級(jí)關(guān)系錯(cuò)層、屬性顛倒、層級(jí)關(guān)系無(wú)變有的誤設(shè)中GHCI均值隨著誤設(shè)程度的加深，降幅明顯增加;在層級(jí)關(guān)系有變無(wú)中GHCI均值降幅均較小，對(duì)其靈敏性較其他類型層級(jí)關(guān)系錯(cuò)誤較差。
　　(4) GHCI、HCI對(duì)異常反應(yīng)的靈敏性各有優(yōu)勢(shì)。GHCI對(duì)創(chuàng)造性反應(yīng)的檢出率更高，HCI對(duì)層級(jí)結(jié)構(gòu)錯(cuò)誤造成的異常反應(yīng)的檢出率更高。GHCI、HCI的檢出率均隨著測(cè)驗(yàn)長(zhǎng)度的增加而上升。GHCI、HCI對(duì)創(chuàng)造性反應(yīng)上檢出率隨區(qū)分度的降低逐漸下降，對(duì)層級(jí)錯(cuò)誤

6、造成的異常反應(yīng)的檢出率隨區(qū)分度的降低，在不同項(xiàng)目個(gè)數(shù)中變化趨勢(shì)各不相同。
　　(5)實(shí)證研究中，小學(xué)數(shù)學(xué)應(yīng)用題問(wèn)題解決的GHCI均值為.757，大于其截?cái)嘀担?yàn)證了該層級(jí)結(jié)構(gòu)合理，能夠反應(yīng)學(xué)生應(yīng)用題問(wèn)題解決的認(rèn)知規(guī)律。作為個(gè)人擬合指標(biāo)，GHCI的截?cái)嘀挡▌?dòng)范圍較小，更穩(wěn)定。GHCI、HCI檢出的異常反應(yīng)被試各不相同。
　　(6)實(shí)證研究中HCI隨轉(zhuǎn)換比例的增大，其均值逐漸下降。GHCI顯著大于100％轉(zhuǎn)換比例下HCI。HCI