[教育]優(yōu)勢分析：在多元回歸中比較預測因子相對重要性的新方法

1、優(yōu)勢分析：在多元回歸中比較預測因子相對重要性的新方法,,,在使用多元回歸的過程中，研究者不僅要得出一個包含多個自變量的回歸等式，而且要指出哪個自變量相對來說是最重要的，這樣的結果實際應用中才更有意義。在理想的情況下，各個自變量之間沒有相關（或者相關極?。?，那么 ，因為各個回歸系數(shù)都是標準化的，其相對重要性就是標準化回歸系數(shù)的平方。大多數(shù)情況下，各個自變量之間存在著不可忽略的相關，這個時候重要

2、性的比較就不能簡單地從標準化回歸系數(shù)得出。對此，不同的人采用了不同的方法：,,1、將自變量與因變量的零次相關 或平方相關 作為評判自變量重要性的標準。其對重要性的定義為一個自變量獨特、直接的預測能力，忽略模型中其他所有的自變量。2、由于不恰當?shù)卮_定模型，無論是遺漏了重要的自變量，或者將不重要的自變量納入到了模型中都會導致，模型的失真，所以應該認為，能夠納入到一個恰當模型中的所有自變量都是同等重要的。,,3、自變量的重要性應

3、為某個自變量在控制其他變量不變的情況下其對于完整模型的貢獻：3.1增溢法：考察控制其他變量情況下，某自變量變化一個單位，導致因變量變化的比例。例如以某自變量的回歸系數(shù)與其數(shù)學期望乘積的絕對值作為檢驗標準。形象的理解為自變量的彈性。,,3.2方差法：在控制其他變量的情況下，比較各自變量對于因變量方差貢獻的大小3.2.1由方差的可加性得：即所有自變量對因變量的貢獻可以分解為各個自變量在控制其他自變量情況下對模型貢獻，這樣的分解式有

4、 個，而某個自變量的重要性即為在 個分解式中它的貢獻的平均值。EG,,3.2.2某自變量的重要性即為其它對因變量的直接效應（與因變量的相關系數(shù)）與總效應（標準回歸系數(shù)）的乘積。3.2.3某自變量的重要性可量化為其與因變量的相關的平方，由于自變量之間的相關，所以：即把各自變量的標準化回歸系數(shù)平方中與要考察變量相關的部分提出來相加，即乘以其與要考察自變量之間的相關系數(shù)。,,上述方法的缺陷1、對于重要性的定義過于狹窄、模糊

5、甚至有問題，限制過于嚴格，與人們實際應用相距太遠。2、不同定義之間難以相容，無法比較、交流研究結果，甚至根據(jù)不同的定義得出結論完全不同。3、很高的模型依賴性，在不同的子模型中得出相對重要性的結論可能完全不一樣，所以重要性的檢驗應該在全模型和子模型中結論一致。4、重要性的比較應該是“凈”的，如果變量之間高度相關，根本不可分，更無法比較分離出的重要性，那么此時重要性的比較就沒有任何意義，所以應該首先區(qū)分可以比較和不能比較相對重要性的模

6、型。,,比較相對重要性應遵循的原則：1、重要性應定義為自變量在預測因變量時對于減少誤差的貢獻。2、應該能夠對自變量的相對重要性作直接比較而非推斷比較。3、重要性應該能夠反映直接效應（自變量的單獨效應）、總效應（ 納入其他所有變量）、偏效應（納入其他部分變量），即要求重要性的結論在全模型與子模型中保持一致。,,優(yōu)勢分析的質的定義優(yōu)勢是成對的關系，如果全模型包括p個自變量，那么就有p(p-1)/2對優(yōu)勢的比較；確定 和 優(yōu)勢

7、關系的充分必要條件是： 代表除要比較的兩個自變量之外的其他自變量所構成的任何子集（包括空集）。,,優(yōu)勢分析定義的變式：一個變量比另一個變量重要即它在任何子模型中對因變量的預測能力都大于另一個。,,優(yōu)勢分析的量化：由兩個自變量的比較推廣到所有自變量的同時比較時， 是除自身外的其他所有p-1個變量構成的所有子集（包括空集），表示在由k（0<=k<=p-1)個自變

8、量構成 時，該自變量的單獨貢獻的平均值。將其累加求平均數(shù)，即該自變量在所有子模型下的貢獻平均值。,,EG：當有3個自變量時：,,數(shù)據(jù)實例：,BACK,計算和樣本理論,根據(jù)優(yōu)勢方程的定義，對于要進行優(yōu)勢分析的每一對變量，每一個變量都需要和其他許多偏模型進行多元相關系數(shù)平方的比較。如果要包括所有的子模型，則一個變量要進行p(p-1)/2個配對比較。因此，計算一次優(yōu)勢分析必須先計算出2p－1個多元相關系數(shù)平方值。 讓 p

9、 表示所有子集的多元相關系數(shù)平方的（2p－1）× 1向量，讓 Aij 表示在進行 xi 和 xj 的對比時，與其有關進行對照的2p－2個模型的（2p－2）×（2p －1）矩陣。 Δ ij= Aij p , Δ ij就是包括所有有關差異的一個（2p－1）× 1向量。,表4表示的是一個p=3的例子的計算。這個表呈現(xiàn)了向量p，三個矩陣的比較， A12、A13和 A23，即分別比較了x1和 x2

10、、x1和 x3 、x2和 x3 ，以及向量Δ 12 、Δ 13 、 Δ 23之間的不同。,對于小樣本模型還沒有很好的精簡的推理方法，只有一個近似的解決方法，即去“jacknife”那個估計值。這種方法大致過程是：每次都忽略一個觀測值，這樣我們就可以得到n個對所有相關的多元相關系數(shù)平方值的偽獨立估計，通過對方差——協(xié)方差矩陣的估計，我們就可以得到近似的置信區(qū)間。,對大樣本進行優(yōu)勢分析，我們可以用一個例子來說明。我們用社會經濟地位（

11、SES）、IQ和成就動機（nAch）來預測大學的GPA成績。如圖：,表：樣本中的相關矩陣和多元回歸系數(shù)平方值的向量。,表6呈現(xiàn)了三對預測變量相比較的95%漸進置信區(qū)間值。判斷的標準是如果某對相比較差值的置信區(qū)間的下限都為非負的，那么xi D xj ；如果某對比較的置信區(qū)間的上限都為非正的，那么和 xj D xi ，如果某對比較的置信區(qū)間跨過零點，那么它們的優(yōu)勢關系無法確定。,接著，我們再來看一個p=4的例子，用取得博士以后的年限（x1）

12、 、出版著作的多少（x2） 、性別（x3）和被引用的頻率（x4）來預測薪水（y) ：,從表7和表8來看，我們可以得出：,由簡單的相關系數(shù)我們可以得出：pyx1> pyx4 > pyx2 > pyx3,根據(jù)標準回歸系數(shù)的排序我們可以得出： b1> b4 > b3 > b2,根據(jù)變量的有效性我們可以得出：U(x4)> U(x1)>U(x3)> U(x2),,另： 當數(shù)據(jù)不能完

13、全滿足優(yōu)勢分析條件時，需要確定自變量的重要性關系，可以考慮采用“理想點”法： 即選取每K值子模型下最大（或者最?。┑淖宰兞控暙I平均值，從而構建出一組最優(yōu)（或最劣）的理想自變量的貢獻平均值，通過計算、比較其他自變量與其的相關系數(shù)大小，從而確定它們的重要性關系。TO,小結——,回歸分析可以分成三個步驟：,選擇模型 在許多驗證性因素分析中，研究者要在前人的理論和研究上來建立一個正確的模型，研究者都努力提出對Y最有預測效度

14、的預測量。 完成建立模型并不意味著可以馬上進行優(yōu)勢分析，因為優(yōu)勢分析必須在一個正確模型的條件下進行。如果這個方程模型不正確，則優(yōu)勢分析的結果也會出現(xiàn)錯誤。這樣會帶來一定的問題，尤其是從模型中不正當?shù)貏h除一些預測變量時。 前文中提到，往方程中添加一些不相關的變量是不會影響到優(yōu)勢分析的結果的，但是如果把方程中的一些變量刪除掉，則會引起回歸系數(shù)的估計產生偏差。,變量間質的關系的確定有一套關于把與每對預測變量相關的

15、模型合并起來的嚴格標準。這種方法有兩個很明顯的優(yōu)點：(a)優(yōu)勢分析的操作性定義更符合“優(yōu)勢”的直接含義；(b)它排除了許多由于不同變量之間和不同子模型之間的不一致帶來的混亂。 回歸分析和優(yōu)勢分析中有一個最大的不同就是對結果的描述和推論。我們經常可以看到一個研究者在尋找最佳的方程模型時會報告無數(shù)個檢驗顯著，并從對樣本的估計中進行推論。但是在一定樣本中，如果xi 優(yōu)于xj并不能保證在其他的樣本中也能得到同樣的結論（例如表6）