特殊數(shù)據(jù)的廣義嶺估計(jì)迭代算法及其實(shí)現(xiàn).pdf

1、廣義嶺估計(jì)是Horel和Kennard(1970)提出的一種新型的多元分析方法，近幾十年來，它在理論和應(yīng)用方面都以得到迅速的發(fā)展.和嶺估計(jì)以及偏最小二乘估計(jì)一樣，廣義嶺估計(jì)主要適用處理病態(tài)設(shè)計(jì)矩陣，并可以有效的解決普通多元線性回歸無法解決的問題，如樣本個(gè)數(shù)小于自變量的個(gè)數(shù).但計(jì)算逆矩陣和嶺脊的選擇是廣義嶺估計(jì)的兩個(gè)難點(diǎn). 在許多實(shí)際問題中，特別在化學(xué)和生物的試驗(yàn)問題中，擬合線性模型的數(shù)據(jù)中的未知參數(shù)P的個(gè)數(shù)遠(yuǎn)遠(yuǎn)大于樣本量，此時(shí)設(shè)

2、計(jì)矩陣Xn×p列向量有共線性，因?yàn)樵囼?yàn)或生產(chǎn)過程已經(jīng)完結(jié)或經(jīng)費(fèi)限制等原因，樣本量n可能小到100，或更少，這樣導(dǎo)致了一種特殊的降秩矩陣.Hawkins和Yin(Comput.Statist.DataAnal.40(2002)253)中提出針對這樣的降階數(shù)據(jù)Xn×p(n＜p)一種嶺回歸的快速迭代算法.本文在Hawkins和Yin文章的基礎(chǔ)上，針對特殊的降秩矩陣Xn×p(n＜p)，利用矩陣論的知識(shí)，提出了一種O(np2)廣義嶺估計(jì)的迭代算法

3、.介紹了廣義嶺估計(jì)的性質(zhì)和有偏估計(jì)的理論知識(shí)，討論了它們之間的相互區(qū)別，主要在文獻(xiàn)[4]的基礎(chǔ)上，提出和證明了廣義嶺估計(jì)在均方誤差的準(zhǔn)則下優(yōu)于最小二乘估計(jì)的充分條件.同時(shí)設(shè)計(jì)了兩種搜索嶺脊的方法.當(dāng)P較大時(shí)，此算法非常節(jié)省計(jì)算量，不僅直觀，簡單，適用于加權(quán)情況，而且便于計(jì)算其殘差平方和、回歸系數(shù)的標(biāo)準(zhǔn)誤、回歸系數(shù)的方差和殘差的估計(jì). 用MATLAB7.0編程開發(fā)了試驗(yàn)數(shù)據(jù)模擬的界面和有偏估計(jì)回歸比較界面.此界面不僅可以進(jìn)行較大規(guī)

4、模的試驗(yàn)?zāi)M，而且對于同樣的數(shù)據(jù)進(jìn)行不同的回歸方法的擬合，以及對于同一種估計(jì)用不同的計(jì)算方法進(jìn)行回歸計(jì)算，在運(yùn)算速度，MSE，復(fù)相關(guān)系數(shù)，殘差平方和以及預(yù)測平方和等方面進(jìn)行可視化的比較. 進(jìn)一步開發(fā)了大樣本模擬的界面，同時(shí)對最小二乘估計(jì)和嶺估計(jì)、迭代嶺估計(jì)、偏最小二乘估計(jì)、廣義嶺估計(jì)，迭代廣義嶺估計(jì)進(jìn)行大樣本試驗(yàn).為今后理論研究提供了有力的試驗(yàn)平臺(tái)和證據(jù). 本文共分四章. 第一章主要介紹了線回歸模型中復(fù)共線性的定

5、義和種類，以及復(fù)共線性四種診斷方法，同時(shí)引入了數(shù)據(jù)中心化標(biāo)準(zhǔn)化后的中心化線性回歸模型和中心標(biāo)準(zhǔn)化線性回歸模型，介紹了它們各自的優(yōu)點(diǎn). 第二章主要介紹了三種有偏估計(jì)以及廣義嶺估計(jì)的定義和性質(zhì)，在文獻(xiàn)[4]的基礎(chǔ)上給出了廣義嶺估計(jì)在均方誤差的準(zhǔn)則下優(yōu)于最小二乘估計(jì)的充分條件.同時(shí)給出對角陣K的選取辦法，即使得所有的回歸系數(shù)的方差膨脹因子均小于10，預(yù)測平方和(press)最小以及殘差平方和(RSS)不要上升太多.并設(shè)計(jì)出二種蒙特卡羅