中國臨床醫(yī)師資格考試實證效度的初步研究.pdf

1、臨床醫(yī)師資格考試作為行業(yè)準(zhǔn)入考試，是對執(zhí)業(yè)醫(yī)師臨床思維過程和實際工作能力的綜合評價。考試必須具有較高的信度和效度，才能準(zhǔn)確地反映所要測量研究對象所具有的知識和技能。在觀察考試的效度時我們不僅應(yīng)看到分?jǐn)?shù)本身的可靠性，也應(yīng)該考慮研究對象在考試中的表現(xiàn)與其在其他情境下(現(xiàn)實工作中)表現(xiàn)的關(guān)系。 臨床醫(yī)師資格考試的實證效度(Demonstrative Validity，或Empirical Validity)研究，重要的是確定實證效度的

2、效標(biāo)。考試成績效度高低的評判標(biāo)準(zhǔn)，可以是其它相關(guān)考試的成績，也可以是研究對象在實踐中的表現(xiàn)。通過比較臨床醫(yī)師資格考試成績與另一種時間相近、內(nèi)容和結(jié)構(gòu)相似的考試成績，分析兩者的共時效度。比如參加臨床醫(yī)師資格考試的研究對象在比較短的時間內(nèi)又參加了其它與臨床醫(yī)師資格考試相似的理論與實踐考試。如果兩次考試成績的一致性較高，則證明兩者的效度都高。反之，兩次考試成績的一致性較低，而又無法判定作為效標(biāo)的考試是否具有理想的考試信度和效度時，就需要進(jìn)行進(jìn)

3、一步研究。臨床醫(yī)師資格考試是評價、選拔和任用執(zhí)業(yè)醫(yī)師的重要考試，其考試成績應(yīng)該很好的預(yù)測研究對象在實踐中的表現(xiàn)，同樣研究對象的工作表現(xiàn)也應(yīng)該和臨床醫(yī)師資格考試的成績相一致，這樣的考試才具有理想的效度。觀察所要研究的對象，即剛剛參加臨床醫(yī)師資格考試或即將參加臨床醫(yī)師資格考試的醫(yī)務(wù)人員。對于他們在醫(yī)療工作中的表現(xiàn)進(jìn)行評價，評價內(nèi)容包括病人的處理、病志記錄等，采用自我評價、患者評價、同行和上級醫(yī)師評價、其他團(tuán)隊成員或組織的評價等方法，收集這些

4、信息。研究對象在這些工作中表現(xiàn)出來的專業(yè)知識和技能正是臨床醫(yī)師資格考試所要評價的，因此是研究臨床醫(yī)師資格考試效度的客觀、真實的效標(biāo)。實證效度的研究主要是通過確定的效標(biāo)與考試成績相比較，分析研究醫(yī)師考試的效度，因此又被稱為效標(biāo)關(guān)聯(lián)效度(Criterion—related Validity)。要建立一個標(biāo)準(zhǔn)化考試，實證效度是重要的檢驗手段。 國外開展了關(guān)于醫(yī)學(xué)考試的實證效度研究。而國內(nèi)在醫(yī)學(xué)考試方面開展的研究集中在考試的分類、試題編

5、制和分析、考務(wù)管理、題庫建設(shè)和考試數(shù)據(jù)的分析評價方面，形成了完整的理論體系，促進(jìn)了醫(yī)學(xué)考試質(zhì)量的提高。但對醫(yī)學(xué)考試的實證研究不多，現(xiàn)有的一些也只是對學(xué)校內(nèi)的考試進(jìn)行預(yù)測研究，所得出的結(jié)論主要服務(wù)于教學(xué)，較少有文獻(xiàn)報導(dǎo)，相關(guān)的實證研究資料沒有系統(tǒng)地收集整理。對臨床醫(yī)師資格考試的實證研究工作還沒有開展，不能從實踐角度進(jìn)行分析和評價。從實證角度開展對臨床醫(yī)師資格考試的研究，建立實證效度研究的完善方法和理論十分必要。 本研究從客觀實踐角

6、度評價臨床醫(yī)師資格考試結(jié)果反映真實情況的程度。通過收集并分析實證性資料，以研究對象的其他實際表現(xiàn)(工作或其它考試)為效標(biāo)評價臨床醫(yī)師資格考試的效度，從而促進(jìn)臨床醫(yī)師資格考試的完善和提高。 對象與方法: 對象：以中國醫(yī)科大學(xué)2007級60名本科學(xué)歷住院醫(yī)師為研究對象，專業(yè)包括內(nèi)科，外科、婦科、兒科，附屬一院22人，附屬盛京醫(yī)院31人，附屬四院7人；其中男生29名，女生31名。方法：1、根據(jù)臨床專業(yè)執(zhí)業(yè)臨床醫(yī)師資格考試的內(nèi)容

7、、方式和技術(shù)特點，在臨床醫(yī)師資格考試之后較短的時間內(nèi)，組織參加研究的考生進(jìn)行一次理論考試和OSCE，作為與臨床醫(yī)師資格考試的對照考試。比較臨床醫(yī)師資格考試成績同這些考試成績的一致性程度，進(jìn)行分析研究。2、收集研究對象本科期間的畢業(yè)考試成績，將其作為效標(biāo)與臨床醫(yī)師資格考試成績做效標(biāo)關(guān)聯(lián)效度分析。3、臨床專業(yè)臨床醫(yī)師資格考試實證效度資料的收集。觀察參加考試考生在工作中的表現(xiàn)，整理平時科室考核和患者反饋資料，進(jìn)行自我評價、患者評價、同行評價和

8、其他評價，對他們的職業(yè)精神、專業(yè)知識和技能進(jìn)行評定，并采用綜合評價方法進(jìn)行量化分級。使用統(tǒng)計學(xué)方法計算臨床醫(yī)師資格考試成績與考生工作表現(xiàn)的關(guān)系，并嘗試分析執(zhí)業(yè)醫(yī)師臨床工作中的表現(xiàn)對臨床醫(yī)師資格考試成績的預(yù)測能力。 結(jié)果: 一、年度考核基本情況 年度考核理論考試部分信度為0.803，以研究對象畢業(yè)考試中理論綜合考試成績作為效標(biāo)，得到效度為0.495。這次理論考試的平均分為31.3，標(biāo)準(zhǔn)差為3.215。且男女性別之間

9、成績比較差異不顯著，各個醫(yī)院之間成績也差異不顯著。 年度考核技能考試部分平均分為30.5，標(biāo)準(zhǔn)差為3.215。經(jīng)統(tǒng)計分析，發(fā)現(xiàn)病例組合信度介于0.483到0.843之間。平均難度系數(shù)為0.57，病例難度較高。平均區(qū)分度為0.45，說明大多數(shù)病例的區(qū)分度較好。 二、臨床醫(yī)師資格考試實證效度的分析 臨床醫(yī)師資格考試與年度考核理論部分在總成績、基礎(chǔ)知識部分的成績、專業(yè)知識部分及公共知識部分的成績均相關(guān)。認(rèn)知分級的角度考

10、量的結(jié)果顯示，三個認(rèn)知分級的層次上，臨床醫(yī)師資格考試與年度考核均相關(guān)顯著。與年度考核的技能考試部分的相關(guān)具有顯著的統(tǒng)計學(xué)意義。與畢業(yè)考試從理論考試、OSCE考試方面均具有相關(guān)性。逐步回歸分析顯示年度考核中的基礎(chǔ)知識部分和專業(yè)知識部分對于臨床醫(yī)師資格考試的影響較大。日常工作表現(xiàn)計量評分的相關(guān)性分析顯示臨床醫(yī)師資格考試的成績與研究對象日常工作中的表現(xiàn)相關(guān)性不顯著。未能證實臨床醫(yī)師資格考試對研究對象在日常工作中表現(xiàn)的反映性。 討論:

11、 一、年度考核的信度與難度、區(qū)分度的分析 (一)年度考核的信度 年度考核的的可靠性較好，信度系數(shù)是0.803可以認(rèn)為信度較好。很多研究對象在應(yīng)試后反映本次年度考核試題具有一定的難度，從測試結(jié)果反應(yīng)可見，平均成績僅為61.86，及格率僅為67％。這相對于同組研究對象的臨床醫(yī)師資格考試通過率95％是存在一定差異。說明考試的難度大影響了考試信度。 (二)SP考試的病例難度與區(qū)分度 年度考核中的標(biāo)準(zhǔn)化病人考

12、試的平均難度是0.57，從效標(biāo)考試的7個病例中共有5個的區(qū)分度系數(shù)在0.30以上，可以認(rèn)為該病例的質(zhì)量好。 二、臨床醫(yī)師資格考試的實證效度分析 (一)臨床醫(yī)師資格考試的表面效度 表面效度是指從外表看就可以明白考試是要測量什么。鑒于考生對考試的認(rèn)可和接受程度，以及積極的態(tài)度參與臨床醫(yī)師資格考試考試，可以認(rèn)為本次考試的表面效度較好 (二)臨床醫(yī)師資格考試的內(nèi)容效度 臨床醫(yī)師資格考試考核考生的臨床能力范

13、圍比較全面，基本能代表臨床訓(xùn)練的特定目標(biāo)，可以作為評定個人臨床能力成績的一部分標(biāo)準(zhǔn)。由于目前關(guān)于內(nèi)容效度的估計尚無恰當(dāng)?shù)挠嬎惴椒ǎ酝ㄟ^專家判斷法定性地推測該項考試的內(nèi)容效度。 (三)臨床醫(yī)師資格考試的實證效度 最后的分析結(jié)果也顯示臨床醫(yī)師資格考試與年度考核從理論試題的絕大多數(shù)考核部分及認(rèn)知分級方面均顯著相關(guān)性，同時技能考核方面也顯著相關(guān)。而公共試題方面由于需要覆蓋的內(nèi)容較多，同時題量較少等客觀因素的影響，相關(guān)性不是很

14、高。 預(yù)測效度的評估以研究對象的畢業(yè)考試作為預(yù)測效度的效標(biāo)，分析得到兩個考試的相關(guān)性顯著，更加能夠證明臨床醫(yī)師資格考試的效度及信度的良好。同時以研究對象日常工作表現(xiàn)的計量評分為效標(biāo)，無法證明臨床醫(yī)師資格考試與研究對象日常表現(xiàn)的相關(guān)性。 (四)臨床醫(yī)師資格考試實證性方面尚待解決的問題 研究對象的臨床醫(yī)師資格考試成績與其日常表現(xiàn)的相關(guān)性不顯著，也在一定程度上說明，臨床醫(yī)師資格考試注重對于考生臨床基礎(chǔ)及專業(yè)知識的掌握程

15、度的考查，而缺乏對于醫(yī)學(xué)職業(yè)價值、態(tài)度、行為和倫理，群體健康和衛(wèi)生系統(tǒng)、交流技能、批判性思維和研究等領(lǐng)域的考查。 結(jié)論: 一、本次年度考核評價結(jié)果是可靠而有效的。 二、中國醫(yī)科大學(xué)07屆內(nèi)外婦兒住院醫(yī)師年度考核評價與本次臨床醫(yī)師資格考試相關(guān)性較好。 三、研究對象的畢業(yè)綜合考試成績與臨床醫(yī)師資格考試的相關(guān)性較好。 四、研究對象的日常工作表現(xiàn)評價與臨床醫(yī)師資格考試的相關(guān)性無統(tǒng)計學(xué)意義，有待進(jìn)一步研究。