基于多元概化理論的CET-SET信度分析.pdf

1、大學(xué)英語四六級(jí)口語考試(CET-SET)施考十幾年來，影響力日益擴(kuò)大，報(bào)考人數(shù)日益增加。但與之相關(guān)研究并不多。主觀性考試歷來被認(rèn)為在擁有高效度的同時(shí)，考試信度難以得到保證。那么該考試目前施考條件下，考試的信度如何值得關(guān)注。
　　 概化理論是經(jīng)典真分?jǐn)?shù)理論和方差分析結(jié)合的產(chǎn)物，它在估計(jì)各類考試，尤其是主觀性考試的施考信度情況方面有很強(qiáng)大的功能，通過對(duì)各個(gè)考察側(cè)面分?jǐn)?shù)誤差來源的估計(jì)，可以發(fā)現(xiàn)誤差的大小和來源，并在此基礎(chǔ)上估計(jì)更廣泛的

2、施考情況下考試的信度情況。多元概化理論是一元概化理論的推廣和發(fā)展，對(duì)由多個(gè)變量合成的測(cè)量目標(biāo)，可以提供各變量的分?jǐn)?shù)的相關(guān)性和各變量的信度指數(shù)，并最終通過合成的信度指數(shù)來考察考試的信度情況。
　　 本文在在多元概化理論的框架下，對(duì)2010年11月大學(xué)英語四六級(jí)口語考試(CET-SET)某考點(diǎn)的全部數(shù)據(jù)進(jìn)行實(shí)證分析，考察目前施考情況下，大學(xué)英語四六級(jí)口語考試的信度情況，并估計(jì)更廣泛的施考情況下，考試的信度變化情況。據(jù)此為考試決策者提

3、供改善施考條件的建議。
　　 本研究主要考察評(píng)分員側(cè)面，任務(wù)(話題)側(cè)面在三個(gè)評(píng)分變量維度的信度情況和合成信度情況，并考察三個(gè)評(píng)分變量的權(quán)重設(shè)置對(duì)合成信度的影響。
　　 研究的主要發(fā)現(xiàn)包括以下六個(gè)方面。第一，目前施考條件下，考試能等達(dá)到很高的信度；第二，三個(gè)評(píng)分變量維度上，大多數(shù)考場(chǎng)在概化系數(shù)和可靠性指數(shù)上顯示出了非常高的信度。相比較而言，語言準(zhǔn)確性和范圍維度變量信度最高，話語長(zhǎng)短和連貫性維度變量次之，語言靈活性和適切性

4、最低；第三，隨著評(píng)分員數(shù)量的增加，所以考場(chǎng)的信度都呈遞增趨勢(shì)，考慮到實(shí)際情況，每考場(chǎng)設(shè)置三個(gè)評(píng)分員數(shù)量達(dá)到能保證較高的信度，且考試成本不會(huì)有大的增加，可以取得最大的效果。第四，三個(gè)評(píng)分維度的權(quán)重設(shè)置雖然有提高的空間，但各個(gè)考場(chǎng)存在著差異性使得較目前的三個(gè)維度6:5:4權(quán)重比例設(shè)置，沒有更好的替代選擇。第五，在考試任務(wù)(話題)側(cè)面，此次考試所采用的四個(gè)任務(wù)(話題)中，信度都在可接受的范圍內(nèi)，但與其他三個(gè)相比，第二個(gè)任務(wù)(話題)的信度指數(shù)較

5、差，在某些考場(chǎng)甚至合成概化系數(shù)和合成可靠性指數(shù)分別只有0.60330和0.52324，所以需對(duì)第二個(gè)任務(wù)(話題)深入分析，并防止在以后考試中采用類似的任務(wù)(話題)。
　　 除去依照所提出的五個(gè)研究問題而得到對(duì)應(yīng)的五個(gè)研發(fā)發(fā)現(xiàn)之外，本研究另外兩個(gè)還有另外兩個(gè)發(fā)現(xiàn)如下：一，三個(gè)評(píng)分維度側(cè)面超高的相關(guān)度結(jié)果表明，雖然表明了對(duì)三個(gè)評(píng)分側(cè)面進(jìn)行合成得到合成分?jǐn)?shù)具有合理性，但也顯示出了在評(píng)分過程中，很多評(píng)分員的評(píng)分具有明顯的“光環(huán)效應(yīng)”，這