廣義線性模型中糾編估計(jì)的再回歸方法.pdf

1、廣義線性模型在經(jīng)濟(jì)、生物、醫(yī)學(xué)等領(lǐng)域中有著廣泛地運(yùn)用。然而隨著實(shí)驗(yàn)樣本的增加，特別是當(dāng)維數(shù)p遠(yuǎn)大于樣本數(shù)量n時(shí)，傳統(tǒng)的估計(jì)方法選不出真實(shí)的模型。在這樣的高維問(wèn)題中，我們用懲罰來(lái)做模型的變量選擇，即把無(wú)用的變量系數(shù)壓縮為零，而把真正起作用的回歸參數(shù)保留下來(lái)。
　　 考慮廣義線性模型Yi=G（Xiβ）+εi，i=1，…，n其中Y服從指數(shù)族分布f（y.口，(ψ)）=exp{y0-b(0)/a((ψ))+c(y.(ψ))}它的變量選擇有

2、以下幾種基本方法:
　　 第一，LASSO方法
　　 (β)n(glm)=argminβnΣi=1[-yi(XTiβ)+b(XTiβ)]+λnpnΣj=1|βj|
　　 第二，Dantzigselector
　　 min||β||1subj(e)ctto||l(″)（(β)mle）(β-(β)mle)||∞≤λ
　　 第三，Bridge方法
　　 (β)n(glm)=armminβnΣi=

3、1[yi-G(XTiβ)]2+λnpnΣj=1|βj|r
　　 雖然這些方法解決了用超多變量來(lái)做估計(jì)的困難，但是它們都把有顯著意義的變量給壓縮了。這種偏差會(huì)隨著p的增大而顯著增加。本文研究了估計(jì)參數(shù)的期望與懲罰參數(shù)之間的關(guān)系。發(fā)現(xiàn)三種方法在一定的條件下，都有統(tǒng)一的關(guān)系式。如下所示(β)λκ=β+(φ)(β,μ)/nλκ+(ε)κ因而由這個(gè)統(tǒng)一形式，我們重新建立一個(gè)線性回歸模型，把(β)λk看成Y，把λk看成X。很顯然，線性模型的