運(yùn)用概化理論多側(cè)面模型分析CEPT口語考試的評(píng)分員信度.pdf

1、口語測試作為一種體現(xiàn)考生真實(shí)交際水平的測試手段是任何其他測試所不能達(dá)到的,因此,任何一個(gè)科學(xué)和理想的語言測試必須要包括口語測試。但由于口語考試自身的特點(diǎn)和評(píng)分的主觀性,使得口語考試的評(píng)分工作面臨著很多困難和挑戰(zhàn)。這其中就包括了很多由測量誤差所引起的評(píng)分信度不高的因素。
　　 概化理論作為一種現(xiàn)代測量理論,對(duì)口語評(píng)分信度的測量提出了全新的測量方法。首先在可觀測的全域之上,明確測量目標(biāo)、測量側(cè)面及其相互關(guān)系。并在此基礎(chǔ)上設(shè)計(jì)出交叉設(shè)

2、計(jì)、嵌套設(shè)計(jì)和混合設(shè)計(jì)。其次,運(yùn)用實(shí)驗(yàn)設(shè)計(jì)和方差分析的方法對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析,估計(jì)出各種變異來源對(duì)分?jǐn)?shù)總變異所做的貢獻(xiàn),這也就是概化研究的過程。在決策研究階段,通過修改不同的測量側(cè)面、樣本容量和測量結(jié)構(gòu)等以達(dá)到試驗(yàn)設(shè)計(jì)人員想要的目的。
　　 本文正是運(yùn)用概化理論對(duì)湖南大學(xué)英語分級(jí)考試中口語考試部分評(píng)分員信度問題所做出的研究。通過分析,本研究得出以下結(jié)論:
　　 1)本次口語考試評(píng)分員的整體信度很高。但也顯示出了較顯著的嚴(yán)

3、厲度的差異。其中,3號(hào)評(píng)分員的嚴(yán)厲度水平是最低的。5號(hào)和6號(hào)評(píng)分員顯示出了高度的評(píng)分一致性。并且,整個(gè)口語試題的難度適中,區(qū)分度也較理想。
　　 2)通過對(duì)不同測量條件下試題側(cè)面的決策研究,估計(jì)出當(dāng)試題側(cè)面達(dá)到6個(gè)時(shí),G系數(shù)達(dá)到了更高的信度水平。
　　 3)在決策研究中,分別估計(jì)出了評(píng)分員從1到10個(gè)范圍內(nèi)信度指標(biāo)的變化情況。研究得出了在不同試題側(cè)面條件下,多少個(gè)評(píng)分員就可以達(dá)到比較高的信度值。
　　 4)通過對(duì)

4、不同測量側(cè)面的調(diào)整和估計(jì),研究得出了最優(yōu)化的設(shè)計(jì)方案。即,當(dāng)試題側(cè)面為6,評(píng)分員側(cè)面為4時(shí),即可達(dá)到仞始設(shè)計(jì)時(shí)的高信度水平。
　　 本文的研究首先體現(xiàn)在首次對(duì)湖南大學(xué)英語分級(jí)考試口語部分的整體評(píng)估和評(píng)分員信度分析,因此具有十分重要的意義,并為其進(jìn)一步發(fā)展和完善提供了實(shí)證依據(jù)。研究結(jié)果指出了口語測試部分現(xiàn)存的問題并提出了修改建議,并顯示出了不同評(píng)分員的內(nèi)部一致性水平差異,對(duì)甄選合格的評(píng)分員提供了參考。另外,本研究中采用概化理論來檢