第四章 心理測驗的難度與區(qū)分度

1、第四章,項目分析,心理測量學(xué),第四章 項目分析,,心理測量學(xué),第四章 項目,,一、難度的定義,難度定義難度difficulty：指項目的難易程度，即就是被試完成題目或項目任務(wù)時所遇到的困難程度 難度系數(shù) ：p定量刻畫被試作答一個題目所遇到的困難程度的量數(shù)，就叫題目的難度系數(shù)，也常稱為難度值,用符號P表示。,,二、難度系數(shù)計算方法,以全體被試得分率為難度系數(shù)以全體被試通過率為難度系數(shù) 　 P=K/N

2、　以兩端組被試得分率的均值為難度系數(shù) P=(PH+PL)/2,P：題目難度X拔：被試在某題目上 的平均得分Xmax：該題目的滿分,P：題目難度K：答對人數(shù)N：全體被試人數(shù),P：題目難度PH：高分組被試的得分率PL：低分組被試的得分率,（1）按被試的總分，將全體被試者從高到低進行排序。（2）從高分往下找，找出高分組；由低分往高找，找出低分組 兩組人數(shù)分別占總?cè)藬?shù)的27%。（3）分別

3、計算高分組、低分組的被試在該題目上的平均得分。（4）代入公式分別計算高分組和低分組被試在同一個題目上 的難度系數(shù)。（5）把 和 代入P=(PH+PL)/2 ，計算這個題目的難度系數(shù)。,難度計算實例,例4-1 下表是隨機抽取22名被試在某數(shù)學(xué)測驗中四道題目的得分情況，每題的滿分分別為1分、2分、3分和4分，請分析其難度。,,,,哪道題最難？,三、難度系數(shù)變換,上述所得難度系數(shù)，不論是得分率還是失分率，都屬于順序變量，

4、不具有相等的單位，因此，通過p值比較并不能客觀指出題目難度之間的差異大小 。Eg：三個題目難度系數(shù)分別為0.5、0.6、0.7，三個題目之間難度差是否相等？,可知第一題最難，第二題次之，第三題最容易難度系數(shù)相差都是10%，但并不代表第一題 與 第二題難度只差等于第二題與第三題難度之差,難度系數(shù)變換辦法,假設(shè)每個試題所要測量的潛在特質(zhì)或能力是呈正態(tài)分布的，然后就可以根據(jù)正態(tài)分布曲線,將試題的難度系數(shù)P作為正態(tài)曲線下的概率面積

5、，轉(zhuǎn)換成具有相等單位的等距量表,即Z分?jǐn)?shù)（標(biāo)準(zhǔn)分?jǐn)?shù)）量表。,難度等距轉(zhuǎn)換實例,,,思考：Z分?jǐn)?shù)為負(fù)值時，說明試題難還是容易？,,,,,,,Z值存在負(fù)值不易理解，因此做如下轉(zhuǎn)換難度Z值轉(zhuǎn)換公式:Δ=13+4ZΔ：題目難度；Z：由p轉(zhuǎn)換來的標(biāo)準(zhǔn)分?jǐn)?shù)思考：Δ的取值范圍？1----25,,,,,,第1題：Δ=13+4*1.04=17.16第2題：Δ=13+4*0.67=15.68第3題：Δ=13+4*0.39=14.56第4題：

6、Δ=13+4*0.25=14第5題：Δ=13+4*（-0.25）=12第6題：Δ=13+4*（-0.59）=9.64,難度等距轉(zhuǎn)換公式,四、題目的難度分布,P的取值范圍為：0≤P≤1當(dāng)P=0時，試題的實際困難程度最大(所有的考生都得0分)當(dāng)P=l時，試題的實際難度最小(所有的考生都全對)。,常模參照測驗難度分布,要盡可能地區(qū)分被試的個別差異，測驗結(jié)果就盡可能拉開距離 。P值盡量接近0.50 為宜思考：P等于1或0時，以為著什

7、么，是否還可以區(qū)分被試？,實驗表明：,所有題目的難度系數(shù)分布在0.30至0.70之間，并且整個測驗的平均難度系數(shù)在0.50左右時，測驗對被試有較大的鑒別力，測驗分?jǐn)?shù)也接近正態(tài)分布,標(biāo)準(zhǔn)參照測驗難度分布,目的是檢驗被試是否已達到教學(xué)目標(biāo)規(guī)定的掌握程度教師期望學(xué)生都能夠在教學(xué)之后掌握所有的教學(xué)內(nèi)容通過率達到1.00時，所有學(xué)生都掌握了教學(xué)內(nèi)容。如果教學(xué)是有效的，多數(shù)試題的難度系數(shù)P值都會很大，難度系數(shù)反映的是教學(xué)質(zhì)量的好壞的成分多于

8、試題質(zhì)量的好壞的成分不同測驗，目的不同，難度值不同。奧林匹克測驗？選擇補習(xí)功課的學(xué)生？,心理測量學(xué),第四章 心理測量的難度與區(qū)分度,,一、區(qū)分度的定義,定義：指測驗對考生實際水平的區(qū)分程度或測驗對被試特質(zhì)差異的區(qū)分能力，用符號D表示。具有良好區(qū)分度的測驗，實際水平高的應(yīng)該得高分，實際水平低的應(yīng)該得低分。所以，區(qū)分度又叫鑒別力。是評價試題質(zhì)量，篩選試題的主要指標(biāo)與依據(jù),區(qū)分度的分類,正區(qū)分(D>0)稱積極區(qū)分，指實際水

9、平高的考生得了高分，實際水平低的考生得了低分負(fù)區(qū)分(D<0)，稱消極區(qū)分，實際水平高的考生得了低分，實際水平低的學(xué)生得了高分零區(qū)分(D=0)指實際水平高低與得分之間沒有太大的關(guān)系，呈現(xiàn)出零相關(guān),二、區(qū)分度的計算,1、相關(guān)系數(shù)法點二列相關(guān)積差相關(guān)2、用極端分組法計算區(qū)分度： D=PH—PLD表示區(qū)分度PH表示高分組的難度PL表示低分組的難度,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,該方法的基本思想是，若題

10、目有好的區(qū)分度，則高能力的被試在該題上應(yīng)得高分，低能力被試應(yīng)得低分，即被試在題目上的得分應(yīng)與測驗總分相一致。其基本假設(shè)是測驗得高分的被試即為高能力被試，測驗得低分的被試即為低能力被試。,1、相關(guān)系數(shù)法,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,（1）點二列相關(guān)法,1、相關(guān)系數(shù)法,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,（2）積差相關(guān)法,1、相關(guān)系數(shù)法,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,基本思想：,2、極端分組法（鑒別指

11、數(shù)法）,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,例4-2 下表是隨機抽取22名被試在某語文測驗中四道題目的得分情況，四題滿分分別為1分、3分、5分和60分，其中第4題為作文題，請計算四題的區(qū)分度。,3、題目區(qū)分度計算實例,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,,3、題目區(qū)分度計算實例,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,,,三、區(qū)分度的評價標(biāo)準(zhǔn),1965年美國測量學(xué)家伊貝爾根據(jù)長期經(jīng)驗提出如下標(biāo)準(zhǔn)：,四、區(qū)分度與測驗

12、信度、難度的關(guān)系,區(qū)分度與信度關(guān)系此表是1962年R．L．艾伯發(fā)表的，這里是假定全部試題的難度均為0．50時所預(yù)測的信度系數(shù)。里面的區(qū)分度指的是平均值?？梢姡脒_到理想的測驗信度，提高區(qū)分度是一個好方法。,四、區(qū)分度與測驗信度、難度的關(guān)系,區(qū)分度與難度關(guān)系由上表可知，難度適中，可使區(qū)分度達到最大值。,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,(1)題目難度(2)被試群體的同質(zhì)性(3)全卷各題所測心理品質(zhì)的一致性。

13、(4)題目本身的文字與內(nèi)容的質(zhì)量也會影響 題目的區(qū)分度,五、影響題目區(qū)分度的因素,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,(1)控制好題目難度。將題目難度在0.5左右時，區(qū)分能力理論上會比較高。(2)保證題目所測心理品質(zhì)與全卷所測心理品質(zhì)的一致性。(3)題干及答案無歧義。(4)語言準(zhǔn)確規(guī)范。(5)借助選項分析提供的信息對不良選項進行修改，以提高題目區(qū)分能力。,六、提高題目區(qū)分度方法,心理測量學(xué),第四章 心理測量的難度與

14、區(qū)分度,,一、猜測度的定義,猜測度是指被試全憑隨機猜測而答對題目的概率。猜測行為主要出現(xiàn)在客觀題（如選擇題、是非判斷題、配對題等）,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,①增加選擇題選擇項的個數(shù)(一般不少于四個) 。②增加干擾項的迷惑性。③控制存在猜測行為的總題量，以保證猜測誤差控制在較小范圍。④如有特殊需要，還可采用警告、扣分等方式控制被試的猜測行為。,二、猜測度的控制,心理測量

15、學(xué),第四章 心理測量的難度與區(qū)分度,,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,一、選項分析基本過程,1、根據(jù)被試的測驗總分，對被試進行排序2、確定高分組和低分組被試3、分別登記高分組被試和低分組被試在每個備選項的人數(shù)及未作答人數(shù)（也可以是人數(shù)百分比），最終整理成類似表中的數(shù)據(jù)資料4、根據(jù)第3步整理好的數(shù)據(jù)資料，進行具體分析。,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,1、首先分析兩組平均選答率一般正確答案的選答率應(yīng)該在0

16、.4到0.6之間，每個干擾項應(yīng)該平均分剩余的選答率。如果正確答案的選答率過高或過低，這都不利于區(qū)分高分組和低分組被試。如果某干擾項選答率特低，則說明該干擾項錯的過于明顯應(yīng)加以淘汰；若某干擾項選答率特高，則要考慮該題正確答案是否錯誤或有兩個正確答案。,二、選項分析的方法及選項修改原則,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,2、對于正確答案 主要考察高分組和低分組被試在正確答案上的選答率是否是正差，及這一差距是否足夠大。只

17、有當(dāng)高分組和低分組被試在正確答案上的選答率是正差，且這一差距足夠大時，這時題目質(zhì)量較佳。,二、選項分析的方法及選項修改原則,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,3、對于干擾項考察高分組和低分組被試在干擾項上的選答率是否是負(fù)差，及這一差距是否足夠大。只有當(dāng)高分組和低分組被試在正確答案上的選答率是負(fù)差，且這一距差足夠大時，這時干擾項的設(shè)置比較合理，否則干擾項設(shè)置不合理，應(yīng)對干擾項進行刪除或修改。,二、選項分析的方法及選項修改原則,

18、心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,4、其它①如果高分組被試的選答集中在兩個答案上，且人數(shù)又相近，說明此題可能有兩個正確答案，或者在某種意義上另一個選擇項也有一定道理。應(yīng)考慮題目本身是否存有歧義或有兩個正確答案。②如果高分組對正確答案的選答率與低分組相等或低于后者，說明該題所考察東西與被試水平無關(guān)，即不具有鑒別力，此題應(yīng)作大修改或刪除。③如果一個題目被試未作答的人數(shù)較多（速度測驗除外），或選擇各個備選項答案的人數(shù)相等，說明

19、該題目過難或題意不清，被試無法作答或全憑猜測。應(yīng)修改或刪除本題。,二、選項分析的方法及選項修改原則,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,例4-3　下表為一個由370人參加的英語測驗中四道選擇題的統(tǒng)計結(jié)果，試分析每題難度、區(qū)分度是如何計算出來的？并對這四題的選項質(zhì)量進行評價。,三、項目分析實例,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,,三、項目分析實例,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,③選項分析：第1題，正確答案

20、和干擾項的兩組平均選答率都基本正常，在正確答案上高分組的被試選擇人數(shù)要多于低分組被試，且在非正確選項上，高分組的被試選擇人數(shù)要少于低分組被試，這符合實際情況，四個選項的設(shè)置均較合理；,三、項目分析實例,心理測量學(xué),江西師大心理與教育統(tǒng)計測量中心,三、項目分析實例,③選項分析：第2題，正確答案和干擾項B的兩兩組平均選答率基本一致，且正確答案上高分組的被試選擇人數(shù)要少于低分組被試，而在非正確選項B、D上，高分組的被試選擇人數(shù)要多于低分組被