第六章異方差

1、1,第六章 異方差,2,第一節(jié) 異方差及其影響第二節(jié) 異方差的發(fā)現(xiàn)和判斷第三節(jié) 異方差的克服和處理,本章結構,3,第一節(jié) 異方差及其影響,一、異方差及其分類二、異方差的危害,4,一、異方差及其分類,兩變量和多元線性回歸模型第三條假設都要求誤差項是同方差的，就是誤差項的方差是常數(shù)，即 不隨i 變化。如果這條假設不滿足，這時候稱線性回歸模型存在“異方差”或“異方差性” 。異方差可以用圖6.1

2、中對應解釋變量不同觀測值 和 的誤差項，分布密度函數(shù)形狀不同加以反映。,,,,,,5,圖6－1 兩變量線性回歸模型的異方差,,,,,,,,6,,圖6.1中對應線性回歸模型誤差項的方差 隨著 或i 的增大而增大，這種異方差稱為“遞增異方差”，是異方差最常見的類型。但也有方差變化趨勢與上述相反的“遞減異方差”，或者先增后減或先減后增的其他復雜類型的異方差。,,7,,異方差的本質特征是誤差項波動幅度的變化。一般來說，隨著

3、經(jīng)濟變量數(shù)值的增大，波動幅度往往也會相應的增大。 這一方面是因為隨機因素的作用有隨著經(jīng)濟變量數(shù)值的增大而增大的可能，另一方面也可能是隨機性因素本身的變化規(guī)律作用的結果，此外也可能是觀測和統(tǒng)計誤差隨著經(jīng)濟變量數(shù)值的增大而放大的結果。這些因素最終都可能導致線性回歸模型誤差項異方差問題。,8,,由于數(shù)據(jù)和隨機誤差項性質的差異，一般來說異方差問題在截面數(shù)據(jù)的線性回歸分析中更加常見，在時間序列數(shù)據(jù)中則相對要少一些。 值得注意的是，當線性回歸模

4、型存在解釋變量缺落、函數(shù)形式不準和參數(shù)改變等模型定式誤差問題時也會表現(xiàn)出與異方差相似的特征，容易與由誤差項變動幅度變化引起的真正異方差混淆。,9,,例如兩個變量有真實關系 其中誤差項滿足線性回歸模型的所有假設。 但如果誤以為Y 和X 之間的關系是：并認為 ，那么,,,,,10,,若記 ，則

5、因此 是 的函數(shù)，即模型表現(xiàn)出異方差性。這種異方差本質上與誤差項波動變化的異方差是不同的，是模型誤差項均值非零的系統(tǒng)偏差導致的，我們稱這種異方差為“假性的”。,,,,,11,二、異方差的危害,異方差對以最小二乘估計為核心的線性回歸分析的作用和價值有嚴重影響。 異方差雖然不會影響最小二乘估計的無偏性，但最小二乘估計量方差的估計和最小方差性，都是以模型誤差項同方差假設為基礎的。 當線性回歸模型的誤差項存在異方

6、差問題時，普通最小二乘估計不再是方差最小的估計，某種形式的加權最小二乘估計才是最小方差的有效估計。,12,,最小二乘估計量方差確定的困難，則會對以參數(shù)估計量的統(tǒng)計性質和分布特征為基礎的統(tǒng)計推斷等分析，以及區(qū)間估計和區(qū)間預測等造成嚴重影響，使這些統(tǒng)計推斷失去基礎。,13,第二節(jié) 異方差的發(fā)現(xiàn)和判斷,一、 殘差序列圖分析二、 戈德菲爾德-夸特檢驗三、 戈里瑟檢驗,14,一、殘差序列分析,利用模型回歸殘差序列的分布形態(tài)進行分析，

7、是發(fā)現(xiàn)和判斷異方差問題的基本方法。 以i 或 為橫軸，殘差e為縱軸，作殘差序列的分布圖形，那么模型不存在異方差問題時，回歸殘差應該均勻地分布在橫軸上下的一定范圍內(nèi)，如圖6.2（a）。如果殘差序列的分布形態(tài)如圖6.2（b）， 的分布有隨著 的增大而越分散的趨勢，那么應該懷疑存在異方差性，而且是遞增異方差。,,,,15,圖6.2 異方差的發(fā)現(xiàn)和識別,(a)(b),16,,如果殘差序列分布形態(tài)如圖6.2（c）或（d）

8、，應該考慮遞減異方差或復雜異方差的可能性。如果殘差序列分布形態(tài)如圖6.2（e）或（f），應該考慮假性異方差，也就是參數(shù)變化或函數(shù)設定偏差的可能性等。,17,圖6.2 異方差的發(fā)現(xiàn)和識別,(c)(d),18,圖6.2 異方差的發(fā)現(xiàn)和識別,(e)(f),19,,殘差序列圖分析雖然直觀簡便，但有時無法作出明確的判斷，特別是殘差分布形態(tài)不很典型時很難得出結論。 為此提出了一些更嚴密的判斷方法，戈德菲爾德-夸特（Goldfel

9、d-Quandt）檢驗和戈里瑟（Glejser）檢驗是其中比較常見的兩種。,20,二、戈德菲爾德-夸特檢驗,這種方法適合檢驗樣本容量較大的線性回歸模型的遞增或遞減型異方差性。 我們以遞增異方差為例說明戈-夸檢驗的思路和方法。 模型存在遞增異方差時會在回歸殘差序列的分布中反映出來，表現(xiàn)為其發(fā)散程度隨某個解釋變量的增大而不斷增大。,21,,如果將樣本按 排序，那么對應較小 的回歸殘差，平均將明顯小于對應較大的 的回歸殘差

10、。 把按 排序的觀測樣本分成數(shù)目相同的兩部分，并為了加強顯著性起見，去掉中間占樣本總數(shù)大約1/4到1/3的部分樣本，同時注意使剩余樣本數(shù)為偶數(shù)。,,,,,22,,對兩個子樣本分別進行回歸，并計算這兩組樣本各自的回歸殘差平方和，若這兩個殘差平方和有明顯差異或者它們之比明顯異于1，就表明存在遞增異方差問題。 可以利用F 檢驗確定上述殘差平方和之比是否異于1。,23,,最小二乘估計的回歸殘差平方和服從卡方分布，因此用上述兩個殘差平方

11、和可以構造統(tǒng)計量其中 表示對應較小 樣本的殘差平方和。 則表示對應較大 樣本的殘差平方和，c是去掉的中間部分樣本數(shù)目。,,,,,,,,24,,這個F 統(tǒng)計量服從兩自由度為 的F分布。若給定顯著性水平 ，則可以從F 分布表中查出對應上述自由度的臨界值 。如果計算到的F 統(tǒng)計量值 ，則可認為兩個殘差平方和之比明顯大于1，誤差項存在明顯的遞增異方差性

12、。,,,,,25,,如果 ，則認為誤差項沒有明顯的異方差性。事實上F 越大，則表明異方差性越嚴重。檢驗遞減異方差性的方法是相似的。只要把前面構造的F統(tǒng)計量的分子分母互換，就完全可以用同樣的程序檢驗模型是否存在遞減型異方差問題。 對于復雜形態(tài)的異方差性，戈-夸檢驗無法應用。,,26,三、戈里瑟檢驗,戈-夸檢驗有一個缺點，就是無法確定異方差的具體模式，即方差是如何隨解釋變量或樣本序數(shù)而變化的。 由于異方差的具

13、體模式對于克服異方差有重要作用，因此戈-夸檢驗這方面的弱點對它的價值有很大影響。 “戈里瑟（Gleiser）檢驗”或與它相似的其他檢驗方法，在識別、確定異方差類型方面比戈-夸檢驗更有效，但在判斷異方差的存在性方面也許略微不如戈-夸檢驗。,27,,戈里瑟檢驗的思路是：模型誤差項的異方差性會在回歸殘差序列的分布中反映出來，通常表現(xiàn)為隨解釋變量（或某個解釋變量）變化的某種規(guī)律性。 因為方差與誤差項的符號無關，因此考察 的分布情況。

14、那么在存在明顯異方差性時， 會有明顯的隨解釋變量變化的趨勢。,,,28,圖6.3 異方差的戈里瑟檢驗,,,,,29,,可以通過回歸方法擬合 與 之間的關系。如果經(jīng)過檢驗確定兩者之間確實存在顯著的函數(shù)關系，那么表明異方差確實存在。通常擬合的回歸模型是 ，其中l(wèi) 根據(jù)圖6.3中的分布形態(tài)，可以在 中選擇。,,,,,30,,當 時，先作一個簡

15、單變換，然后用最小二乘法估計 和 的估計值，對 的顯著性檢驗等價于對模型誤差項是否存在異方差性的檢驗。 如果 確實存在顯著性，說明模型確實存在異方差性。異方差的具體模式也可以根據(jù)上述回歸方程判斷。,,,,,,31,,與戈里瑟檢驗相似的另一種檢驗方法，是根據(jù)對殘差序列和殘差平方序列的直觀分析，采用適當?shù)?函數(shù)形式，對模型 進行回歸擬合 與 的關系，并通過檢驗它

16、們之間是否存在顯著關系判斷原模型誤差項是否有異方差問題。 的函數(shù)形式反映原模型異方差的模式。,,,,,,32,第三節(jié) 異方差的克服和處理,處理異方差，首先可以利用增長率具有消除隨著數(shù)據(jù)數(shù)值增大而波動幅度增大問題的作用，通過改用增長模型來消除或避免異方差問題。 但這些方法比較盲目，效果如何需要事后的檢驗評價判斷。處理異方差更主要的方法，是根據(jù)異方差的具體形式，通過對模型的相應變換等，針對性地克服異方差問題。,33,,

17、如線性回歸模型 經(jīng)檢驗，知誤差項有如下形式的異方差性： 可以用 除模型的各項，得到,,,,34,,新模型誤差項的方差為： 顯然已經(jīng)不存在異方差問題。用這個新模型進行線性回歸分析，可以克服原模型的異方差問題，同樣可以得到原模型所有參數(shù)的估計。,,35,,考察上述新模型最小二乘估計的回歸殘差平方和：可以發(fā)現(xiàn)該殘差平方和相當于原模型最小二乘估計殘差平方和，每一項都乘一個權重的加權平方和，其中權重即

18、 ＝,,,,36,,因此通過上述模型變換得到的參數(shù)估計量也稱為“加權最小二乘估計”。 加權最小二乘估計正是克服線性回歸模型異方差性的針對性方法，這種方法的實質可以理解為對方差較小部分的樣本數(shù)據(jù)的信息更加重視。,37,[例6-1],在研究某地區(qū)居民的儲蓄傾向時，得到了如表6.1的數(shù)據(jù)資料。判斷用線性回歸模型研究居民儲蓄傾向時，誤差項是否存在異方差，以及處理的方法。具體處理請參考eviews軟件。,38,表6.1 個人收入和儲蓄數(shù)據(jù)

19、,n 儲蓄 收入 n 儲蓄 收入 1 264 8777 17 1578 24127 2 105 9210 18 1654 25604 3 90

20、 9954 19 1400 26500 4 131 10508 20 1829 27670 5 122 10979 21 2200 28300 6 107 1

21、1912 22 2017 27430 7 406 12747 23 2105 29560 8 503 13499 24 1600 28150 9 431 14269

22、 25 2250 32100 10 588 15522 26 2420 32500 11 898 16730 27 2570 35250 12 950 17663 28

23、1720 33500 13 779 18575 29 1900 36000 14 819 19635 30 2100 36200 15 1222 21163 31 2300 3