統(tǒng)計決策觀點(diǎn)下線性模型參數(shù)估計優(yōu)良性研究.pdf

1、最小二乘法是一種非常重要的估計方法，它反映了估計量與數(shù)據(jù)的擬合程度。最小二乘估計求解方便，形式簡潔。著名Gauss-Markov定理表明，最小二乘估計在線性無偏估計類中方差最小。這些性質(zhì)奠定了最小二乘估計在參數(shù)估計和應(yīng)用中的重要地位。近二十年來，很多統(tǒng)計學(xué)家從各個不同角度對Gauss-Maurkov定理進(jìn)行推廣，研究最小二乘估計在各種意義下的優(yōu)良性。這些推廣不僅在統(tǒng)計的理論和應(yīng)用上有十分重要的意義，而且具有數(shù)學(xué)美。另一方面，人們又在各種

2、不同模型中研究對最小二乘估計的改進(jìn)，提出許多新的估計來。本論文在統(tǒng)計決策理論的框架下，研究最小二乘估計的優(yōu)良性及其改進(jìn)估計。首先從誤差項的分布出發(fā)，研究線性模型中最小二乘估計的穩(wěn)健性，給出使得Gauss-Markov定理成立的最大誤差分布類，對Gauss-Markov定理進(jìn)行推廣。接著從概率集中性角度，給出了各種約束條件下的最小二乘估計，并討論了它的優(yōu)良性，它比（無約束時的）最小二乘估計概率更為集中。本論文還討論了正態(tài)線性模型誤差方差的

3、區(qū)間估計在覆蓋率、區(qū)間長度與區(qū)間的（上、下）端點(diǎn)比上的改進(jìn)。論文共分四章，主要內(nèi)容概述如下： 第一章首先簡單介紹線性模型中最小二乘估計的有限樣本優(yōu)良性研究進(jìn)展。其次，本文多處假設(shè)誤差向量服從橢球等高分布，作為預(yù)備知識，我們回顧了橢球等高分布的定義，總結(jié)了其重要性質(zhì)。再次，本章介紹了比較估計優(yōu)良性的集中概率準(zhǔn)則，它是比均方誤差準(zhǔn)則更強(qiáng)的比較估計優(yōu)劣的標(biāo)準(zhǔn)。最后，介紹了非對稱損失函數(shù)和平衡損失函數(shù)。 第二章考察最小二乘估計的

4、穩(wěn)健性。對于線性模型 y=Xβ+ε， 其中t為n×1觀測向量，X為n×p的設(shè)計矩陣，β為p×1的未知參數(shù)向量，ε為n×1的隨機(jī)誤差向量。Kariya和Kurata（2002）研究了回歸系數(shù)β的最小二乘估計的優(yōu)良性，對Gauss-Markov定理作了推廣，討論了使得推廣的Gauss-Markov定理成立的誤差分布的最大類。受Kariya和Kurata工作的啟發(fā)，考慮當(dāng)X為列降秩，即rank（X）＝r

5、計關(guān)于誤差分布的穩(wěn)健性。直觀地講，穩(wěn)健性是指統(tǒng)計推斷關(guān)于統(tǒng)計模型（即假設(shè)條件）具有相對穩(wěn)定性。本文討論誤差項的均值和協(xié)方差陣在何種范圍內(nèi)變動時，最小二乘估計在均方誤差陣最小的意義下仍然是最優(yōu)估計，并給了誤差分布的最大類。對誤差項ε服從橢球等高分布的情形，在一定條件下，分別在線性無偏估計類以及同變估計類中，證明了廣義最小二乘估計關(guān)于協(xié)方差陣和損失函數(shù)同時具有穩(wěn)健性。 第三章研究了未知參數(shù)β滿足線性約束的線性回歸模型中最小二乘估計的

6、優(yōu)良性。 在一個統(tǒng)計模型中，若能合理地利用有關(guān)參數(shù)的一些先驗信息，常常能提高統(tǒng)計推斷的效率。在很多情況下，這些附加信息表現(xiàn)為參數(shù)滿足一定的線性約束。首先考慮線性等式約束模型 y=Xβ+,E(ε)=0,Cov(ε)=σ<'2>I Hβ=d, 其中y為n×1觀測向量，X為n×p的設(shè)計矩陣，其秩為p，β為p×1的未知參數(shù)向量，ε為n×1的隨機(jī)誤差向量，σ<'2>＞0未知。H為m×p的已知矩陣，其秩為

7、m，且Hβ＝d是相容的。β的約束最小二乘估計為 其中？＝（X’X）<’1>X’y是無約束條件下的最小二乘估計。假設(shè)誤差向量ε～S<,n>（？），本論文證明對任一給定的k×k階正定陣D，及任意常數(shù)c，在線性約束條件Hβ＝d下，都有 并把結(jié)論進(jìn)行推廣，證明集中概率準(zhǔn)則下，？優(yōu)于？。即對R<'n>中任意對稱凸集S，都有 第三章還重點(diǎn)討論了未知參數(shù)θ滿足線性不等式約束的情形。考慮橢球線性模型y＝Xθ＋ε，ε～EC<,n>

8、（O，I，？），并且誤差向量還是單峰分布。未知參數(shù)θ滿足線性不等式約束C＝｛θ∈R<'p>｜a’θ≥0，a∈R<'p>｝。本文證明了對R<'n>中任意對稱凸集S，都有 其中θ<'*>是？在C上的投影，？θ<'*>也是約束條件下的極大似然估計。 第四章討論正態(tài)線性模型誤差方差σ2的區(qū)間估計及區(qū)間估計的改進(jìn)問題。本文分別從只依賴于殘差平方和的最短長度置信區(qū)間和兩端點(diǎn)比值最小的置信區(qū)間出發(fā)，利用模型的回歸平方和與殘差平方和比值

9、的信息，提出改進(jìn)的區(qū)間估計，證明新的估計在覆蓋概率和長度（或端點(diǎn)比）上都有了改進(jìn)。對于正態(tài)線性模型 y＝Xβ＋ε，ε～N<,n>（0，σ<'2>I）， 其中y為n×1的觀測向量，X為n×p的設(shè)計矩陣，秩為p，β為p×1的未知參數(shù)向量，ε為隨機(jī)誤差，σ<'-2>為未知的誤差方差，σ<'2>＞0。本章第二節(jié)提出了誤差方差σ<'2>的優(yōu)于I<,ML>（T’<,2>T<,2>）的區(qū)間估計；第三節(jié)從置信區(qū)間兩端點(diǎn)比值最小的角度出發(fā)