一種新的風(fēng)險(xiǎn)等級(jí)預(yù)測(cè)的模型改善評(píng)價(jià)方法.pdf

1、目的:
　　本研究旨在構(gòu)建一種新的統(tǒng)計(jì)方法，用以評(píng)價(jià)和度量等級(jí)風(fēng)險(xiǎn)預(yù)測(cè)模型的改善效果，以期為統(tǒng)計(jì)模型的評(píng)價(jià)及比較提供新的手段。
　　方法:
　　本研究基于風(fēng)險(xiǎn)分級(jí)，同時(shí)考慮新模型和原模型風(fēng)險(xiǎn)等級(jí)的變動(dòng)方向和級(jí)數(shù)，提出評(píng)價(jià)不同模型預(yù)測(cè)效果的新方法，應(yīng)用統(tǒng)計(jì)模擬比較新方法與現(xiàn)有方法的統(tǒng)計(jì)性能，最后經(jīng)實(shí)例驗(yàn)證。
　　(1)新指標(biāo)的構(gòu)造
　　本研究定義新指標(biāo)—平均重分類(lèi)改善(average reclassifica

2、tion improvement,ARI)，即個(gè)體在新模型下相對(duì)于原模型，其風(fēng)險(xiǎn)等級(jí)的平均改善，用統(tǒng)計(jì)學(xué)語(yǔ)言可表示為:ARI=K∑i=1 Pi·vi其中，K為所有風(fēng)險(xiǎn)等級(jí)可能變動(dòng)的組合數(shù)，K=2H-1，H為風(fēng)險(xiǎn)等級(jí)數(shù)，如當(dāng)有3個(gè)風(fēng)險(xiǎn)等級(jí)時(shí)，K為5，即有5種可能的風(fēng)險(xiǎn)等級(jí)變動(dòng)組合。
　　記vi（i=1，2，…，K)為風(fēng)險(xiǎn)等級(jí)變動(dòng)組合，最大變動(dòng)范圍為-(H-1)～+(H-1)，其相應(yīng)的概率向量P=(P1，P2，…，PK)。假定陽(yáng)性及陰

3、性結(jié)局相互獨(dú)立，定義新模型相對(duì)原模型的ARI為ARI=ARIevents-ARInonevents=K∑i=1 Pi，events·vi-K∑i=1Pi，nonevents·vi其期望估計(jì)為ARI=ARIevents-ARInonevents=K∑i=1(P)i,events·vi-∑i=1(P)i，nonevents·vi。其方差估計(jì)var ARI由var ARIevent和var ARI nonevent分別估計(jì)，基于多項(xiàng)分布var

4、 ARIevents=K∑i=1v2i·var(P)i，events+2∑i≠j vi·vi cov(P)i,events，(P)j,events=K∑i=1 v2i(P)i,events/nevents-（K∑i=1 vi(P)i，evets)2/neventsvar ARInonevents=K∑i=1v2i·var(P)i,nonevents+2∑i≠jvi·vj cov(P)i,nonevents，(P)j,nonevents=

5、K∑i=1v2i(P)i,nonevents/nnonevents-(K∑i=1 vi(P)i,nonevents)2/nnonevents。假定陽(yáng)性及陰性結(jié)局相互獨(dú)立，在原假設(shè)H0∶ARI=0成立的條件下，可構(gòu)造如下檢驗(yàn)統(tǒng)計(jì)量:z=K∑i=1(P)i，events·vi-K∑i=1(P)i，nonevets·vi/√K∑i=1v2i(P)i，events/nevents+K∑i=1v2i(P)i,nonevents/nnonevent

6、s在大樣本情形下，檢驗(yàn)統(tǒng)計(jì)量近似服從正態(tài)分布。
　　(2)模擬研究
　　具體參數(shù)設(shè)置為:
　　樣本量(n):500，1000，3000;
　　陽(yáng)性事件率(PD):0.05，0.10，0.30;
　　X的效應(yīng)(ORX): ORx=1.5，2，3，4，5，6，7，8，9;
　　M的效應(yīng)(ORM): ORM=1,1.25,1.5,1.75,2,2.5,3,4,6,8;
　　其中，X為現(xiàn)有強(qiáng)預(yù)測(cè)因子或常

7、用預(yù)測(cè)因子的線性組合(linear combinationof predictors)，M是具有潛在預(yù)測(cè)價(jià)值的新協(xié)變量。X及M分別從標(biāo)準(zhǔn)正態(tài)分布N(0，1)中隨機(jī)產(chǎn)生?；趌ogistic回歸模型進(jìn)行模擬研究。各參數(shù)情形下均模擬5000次。
　　風(fēng)險(xiǎn)分級(jí):本研究考慮兩種情形，四分類(lèi)情形下風(fēng)險(xiǎn)等級(jí)設(shè)置為＜5％、5％到＜10％、10％到＜20％以及≥20％;在三分類(lèi)情形下風(fēng)險(xiǎn)等級(jí)設(shè)置為＜5％、5％到＜20％以及≥20％。
　　結(jié)

8、果:
　　ARI的統(tǒng)計(jì)性質(zhì):從標(biāo)準(zhǔn)差估計(jì)及Ⅰ類(lèi)錯(cuò)誤評(píng)價(jià)。
　　1)標(biāo)準(zhǔn)差估計(jì):當(dāng)陽(yáng)性事件率PD=0.05及PD=0.1時(shí)，ARI標(biāo)準(zhǔn)差的估計(jì)比較準(zhǔn)確;當(dāng)PD=0.3時(shí)，ARI標(biāo)準(zhǔn)差的估計(jì)略微偏小。
　　2)Ⅰ類(lèi)錯(cuò)誤:風(fēng)險(xiǎn)等級(jí)為四級(jí)時(shí)，當(dāng)PD=0.05時(shí)，ARI檢驗(yàn)統(tǒng)計(jì)量的正態(tài)分布性質(zhì)不夠理想;當(dāng)PD=0.1及PD=0.3時(shí)，其正態(tài)近似都較好。在相對(duì)極端的參數(shù)情形下（如PD=0.05，n=500），ARI的Ⅰ類(lèi)錯(cuò)誤在0.

9、0171～0.0380范圍內(nèi)，小于設(shè)定的檢驗(yàn)水準(zhǔn)0.05;在其它情形下，ARI的Ⅰ類(lèi)錯(cuò)誤在0.0329～0.0621范圍內(nèi)，除少數(shù)情形控制不佳外，其余基本在模擬允許的誤差范圍內(nèi)，說(shuō)明Ⅰ類(lèi)錯(cuò)誤控制較好。風(fēng)險(xiǎn)等級(jí)為三級(jí)時(shí)與四分類(lèi)的結(jié)果相似。
　　ARI與其它方法的比較:主要與常用評(píng)價(jià)方法NRI和AUC進(jìn)行比較。
　　1)與NRI的比較:
　?、耦?lèi)錯(cuò)誤:多數(shù)情形下，兩種方法的Ⅰ類(lèi)錯(cuò)誤均控制較好，基本在模擬允許的誤差范圍內(nèi)。在

10、相對(duì)極端的參數(shù)情形下（如PD=0.05，n=500），NRI的Ⅰ類(lèi)錯(cuò)誤率在0.0269～0.0558范圍，ARI的Ⅰ類(lèi)錯(cuò)誤率在0.0259～0.0558范圍，兩種方法均偏保守。
　　檢驗(yàn)效能:當(dāng)PD=0.05及PD=0.1時(shí)，NRI及ARI的檢驗(yàn)效能基本一致;當(dāng)PD=0.3時(shí)，ARI的檢驗(yàn)效能較NRI提高0.2％～1.6％，平均提高0.5％。
　　2)與AUC的比較:
　　Ⅰ類(lèi)錯(cuò)誤:配對(duì)樣本AUC檢驗(yàn)的DeLong法偏

11、保守。
　　檢驗(yàn)效能:當(dāng)PD=0.05及PD=0.1時(shí)，ARI與DeLong法的檢驗(yàn)效能基本一致，有些參數(shù)情形下后者更高些（如n=1000，PD=0.1）;PD=0.3時(shí)，ARI的檢驗(yàn)效能比DeLong法平均提高為5.7％。
　　實(shí)例分析:實(shí)例為探究尿血管緊張素原(uAGT)、尿白蛋白肌酐比(UACR)能否提高對(duì)急性復(fù)合性心臟衰竭病人發(fā)生AKI的預(yù)測(cè)效果。
　　AUC的比較:不含uAGT的原模型M0（含年齡、性別、慢性

12、病腎臟病、血清白蛋白、N端前腦鈉肽和中性粒細(xì)胞明膠酶相關(guān)脂質(zhì)運(yùn)載蛋白），其AUC為0.814;含有uAGT的新模型M1(M0+uAGT)，其AUC為0.874，兩者之差為0.06，差異有統(tǒng)計(jì)學(xué)意義（DeLong檢驗(yàn)，P＜0.001）;含有UACR的新模型M2(M1+UACR)，其AUC為0.874，與M1相比，無(wú)統(tǒng)計(jì)學(xué)差異(DeLong檢驗(yàn)，P=1.000)。
　　風(fēng)險(xiǎn)等級(jí)改善:考慮分四個(gè)風(fēng)險(xiǎn)等級(jí)的情形，M1 V.S.M0:有NR

13、I=0.302(P＜0.001)，ARI=0.423(P＜0.001)，對(duì)ARI的解釋為將uAGT加入原有模型后，所有病例的平均風(fēng)險(xiǎn)改善等級(jí)為0.423，而NRI無(wú)直觀解釋;M2 V.S.M1:其ARI=0.0(P=0.997)，NRI=0.0(P=0.997)。UACR不能提高模型的預(yù)測(cè)效果。
　　從實(shí)例中可以看出，uAGT能改善風(fēng)險(xiǎn)分級(jí)，而UACR不能，故M1為相對(duì)最優(yōu)模型。
　　結(jié)論:
　　本研究針對(duì)風(fēng)險(xiǎn)等級(jí)預(yù)測(cè)