穩(wěn)健變量選擇方法的若干問題研究.pdf

1、變量選擇是統(tǒng)計(jì)建模的一項(xiàng)基礎(chǔ)而重要的工作，我們希望一個(gè)好的統(tǒng)計(jì)模型應(yīng)該只包含那些少數(shù)的與響應(yīng)變量真正相關(guān)的協(xié)變量，以達(dá)到比較好的預(yù)測(cè)效果。另一方面，我們希望變量選擇方法是穩(wěn)健的，尤其是當(dāng)數(shù)據(jù)中存在異常值時(shí)，變量選擇的結(jié)果不至于受到很大影響而變得不穩(wěn)定。本文的研究目的是對(duì)縱向數(shù)據(jù)或者更加復(fù)雜的高維帶有刪失的數(shù)據(jù)，提出一系列穩(wěn)健的變量選擇方法。
　　本文的主要結(jié)果和創(chuàng)新之處在于:
　　第一，我們介紹縱向數(shù)據(jù)在線性回歸模型中的穩(wěn)健

2、變量選擇方法。我們建立了懲罰穩(wěn)健估計(jì)方程，給出了高效的算法，并證明了在某些條件下，我們的變量選擇方法具有Oracle性質(zhì)(Fan等(2001)[26])。我們?cè)谀M中比較了幾種文獻(xiàn)中常用的懲罰函數(shù)的效果，特別比較了當(dāng)數(shù)據(jù)中存在異常值時(shí)，穩(wěn)健方法和非穩(wěn)健方法的表現(xiàn)。我們還將該方法用在一組實(shí)際的醫(yī)學(xué)黃體酮激素縱向數(shù)據(jù)中(數(shù)據(jù)下載網(wǎng)址:http://www.lancs.ac.uk/diggle/.)，進(jìn)一步說(shuō)明我們方法的實(shí)際效果。該方法的創(chuàng)新

3、之處在于對(duì)可能存在異常值的縱向數(shù)據(jù)，我們的方法效果穩(wěn)健，而且通過在懲罰穩(wěn)健估計(jì)方程中加入相關(guān)結(jié)構(gòu)，可以提高變量選擇和估計(jì)的效率。
　　第二，我們對(duì)縱向數(shù)據(jù)的線性混合效應(yīng)模型，提出了一種穩(wěn)健的對(duì)固定效應(yīng)和隨機(jī)效應(yīng)同時(shí)進(jìn)行變量選擇的方法。我們通過EM算法來(lái)計(jì)算估計(jì)結(jié)果。我們證明了在自適應(yīng)的LASSO懲罰函數(shù)下，我們的變量選擇方法具有Oracle性質(zhì)。在模擬中，我們分別在固定效應(yīng)和隨機(jī)效應(yīng)以及響應(yīng)變量中加入異常值，來(lái)考察我們方法在各種情

4、況下的穩(wěn)健性表現(xiàn)，模擬結(jié)果表明我們的方法對(duì)各種污染方式都具有較好的抵抗能力。最后，我們將所提的方法用到黃體酮激素?cái)?shù)據(jù)和CD4數(shù)據(jù)實(shí)際數(shù)據(jù)中（下載網(wǎng)址同上），進(jìn)一步闡明方法的實(shí)際意義。該方法的創(chuàng)新之處除了對(duì)異常值的穩(wěn)健性以外，可以對(duì)固定效應(yīng)和隨機(jī)效應(yīng)同時(shí)進(jìn)行變量選擇，這樣可以避免對(duì)模型有過多的可能誤判的先驗(yàn)性假定。
　　第三，我們針對(duì)更加復(fù)雜的超高維帶固定刪失的截面數(shù)據(jù)，利用比較穩(wěn)健的懲罰分位數(shù)回歸的方法，提出一種兩步變量選擇和估計(jì)

5、的方法。我們證明了當(dāng)刪失概率能夠被相合地估計(jì)時(shí)，第一步變量選擇具有很好的降維效果，并能達(dá)到接近最優(yōu)的收斂速度，在此基礎(chǔ)上，第二步的變量選擇能夠修正第一步的偏差，達(dá)到Oracle性質(zhì)。我們還將該方法用在分析一組實(shí)際的Boston房?jī)r(jià)數(shù)據(jù)和水質(zhì)數(shù)據(jù)中(數(shù)據(jù)下載網(wǎng)址:http://lib.stat.cmu.edu/datasets/boston-corrected.txt, http://www.srbc.net/programs/CBP/n

6、utrient program.htm)，得到的結(jié)果說(shuō)明我們的方法能夠很好地處理高維帶有固定刪失的數(shù)據(jù)。
　　本文總共分為五章.第一章緒論，主要進(jìn)行文獻(xiàn)綜述，介紹本文的研究背景、研究動(dòng)機(jī)及主要研究?jī)?nèi)容.第二章介紹縱向數(shù)據(jù)的線性回歸模型的穩(wěn)健變量選擇方法，包括估計(jì)方法，算法，大樣本性質(zhì)和證明，數(shù)值模擬和實(shí)例分析.第三章研究縱向數(shù)據(jù)的線性混合效應(yīng)模型的穩(wěn)健變量選擇方法，包括估計(jì)方法，算法，理論性質(zhì)和證明過程，數(shù)值模擬和實(shí)證分析。第四章