幾種變量選擇方法的模擬研究和實(shí)證分析.pdf

1、面對(duì)高維數(shù)據(jù)，常規(guī)的最小二乘方法不再適用，為了提高模型的可解釋性和預(yù)測(cè)的準(zhǔn)確度，變量選擇變得很重要。如何高效地從眾多的變量中篩選出對(duì)因變量有重要作用的若干個(gè)變量，是統(tǒng)計(jì)學(xué)家們考慮的問題。1996年，統(tǒng)計(jì)學(xué)家Tibshirani提出了重要的Lasso方法，變量選擇的大幕由此拉開。此后，相繼出現(xiàn)了多種針對(duì)高維數(shù)據(jù)的變量選擇方法。常見的有五種，分別是:Lasso、AdaptiveLasso、ElasticNet、SCAD、SIS。前四種方法都

2、是在最小二乘的基礎(chǔ)上施加懲罰，以此來控制β的長(zhǎng)度。在提出這些方法時(shí)，統(tǒng)計(jì)學(xué)家證明了相關(guān)的理論，并進(jìn)行了數(shù)值模擬，有的還與其他方法進(jìn)行了比較。
　　本文旨在通過數(shù)值模擬和實(shí)證分析的方法來綜合地、全面地比較這五種方法。在數(shù)值模擬部分，文章考慮了樣本量n與數(shù)據(jù)維數(shù)p的關(guān)系、自變量之間的相關(guān)性大小等六種情形，比較了幾種方法的表現(xiàn)。在實(shí)證分析部分，文章引用了急性淋巴性白血病研究的數(shù)據(jù)和甄別垃圾郵件的研究數(shù)據(jù)，采用上述五種方法選擇變量。

3、>　　對(duì)模擬和實(shí)證的結(jié)果進(jìn)行分析后，發(fā)現(xiàn)這幾種方法均能較好地進(jìn)行變量選擇。(1)作為具有里程碑意義的方法，由于其懲罰項(xiàng)的幾何性質(zhì)，Lasso能夠把變量的系數(shù)朝0壓縮，并且恰好會(huì)把某些系數(shù)變成0。(2)AdaptiveLasso方法對(duì)Lasso的懲罰項(xiàng)做了修正，相當(dāng)于對(duì)其懲罰做了加權(quán)，它在Lasso的基礎(chǔ)上進(jìn)一步壓縮參數(shù)，文章的結(jié)果表明，該方法選擇的模型相對(duì)于Lasso的結(jié)果更加稀疏，可解釋性更強(qiáng)，更為重要的是，該方法滿足Oracle性質(zhì)

4、。(3)ElasticNet是Lasso和嶺回歸的結(jié)合，參數(shù)α控制著權(quán)重，該方法同時(shí)繼承了Lasso和嶺回歸的優(yōu)點(diǎn)，結(jié)果表明，該方法選擇的變量比Lasso的多。最重要的是當(dāng)數(shù)據(jù)出現(xiàn)組效應(yīng)時(shí)，該方法展現(xiàn)出了它獨(dú)有的優(yōu)勢(shì)，而其他幾種方法則失靈了。(4)SCAD降維的效果明顯，相對(duì)其他方法，通常選擇較少的變量，并且最后的估計(jì)量滿足無偏性、稀疏性、連續(xù)性三個(gè)性質(zhì)。(5)SIS則適用于超高維數(shù)據(jù)的粗略降維，它考慮的是自變量和因變量的相關(guān)系數(shù)。模擬