多元回歸補(bǔ)充已讀

1、多元線性回歸分析,目的,回顧一元線性回歸應(yīng)用場合了解回歸的幾種類型了解多元線性回歸的應(yīng)用場合掌握多元線性回歸的分析方法直接利用回歸先利用逐步回歸尋找合適的自變量，再進(jìn)行回歸先利用最佳子集回歸尋找合適的自變量，再進(jìn)行回歸掌握多元共線性問題的解決辦法,多元回歸,一元回歸的方法很容易就可以推廣到多元的問題。這在實際工作中是經(jīng)常出現(xiàn)的，因為對于一個事物來說，影響它的因素是多方面的，當(dāng)這些因素中每一個都很重要，或者說有幾個是很重要的

2、，而不是只有一個因素最重要，這時我們就需要用到多元回歸分析的方法。 如在預(yù)測銷售量時，在最簡單的情況下，可以認(rèn)為它只與你的廣告預(yù)算有關(guān)，但在實際工作中，如果要比較準(zhǔn)確地預(yù)測銷售量，可能還需要考慮其他因素，如:季節(jié)因素,庫存情況,銷售能力、產(chǎn)品質(zhì)量等。 多元回歸又分為多元非線性回歸和多元線性回歸。,回歸模型的類型,,,,,,一元非線性回歸,多元線性回歸,多元非線性回歸,一元線性回歸,范例1

3、：巴特勒運(yùn)輸公司,巴特勒是美國加利福利亞州的一家獨立運(yùn)輸公司，其主營業(yè)務(wù)地域為本地，為了建立更好的工作日程表，經(jīng)理們計劃為他們的駕駛員估計日常行駛時間。經(jīng)理們認(rèn)為日常行駛時間跟行駛距離有關(guān)，試根據(jù)所學(xué)知識，求：兩者之間的關(guān)系式。,打開文件：“12_A_ 多元回歸 Muliti Regression. Mpj”中：“運(yùn)輸公司.mtw”,范例1：巴特勒運(yùn)輸公司數(shù)據(jù),范例1：巴特勒運(yùn)輸公司,范例1：巴特勒運(yùn)輸公司,R2=66.4%,只

4、能解釋66.4%的變異比例。,,范例1：巴特勒運(yùn)輸公司,經(jīng)理們這時開始考慮，也許日常行駛時間不僅跟行駛距離有關(guān)，還跟運(yùn)貨次數(shù)有關(guān)，試求：行駛時間與行駛距離及運(yùn)貨次數(shù)之間的關(guān)系式。我們可以考慮使用多元回歸！,范例1：巴特勒運(yùn)輸公司,范例1：巴特勒運(yùn)輸公司,這時，R2由原來的66.4%上升到現(xiàn)在的90.4%,現(xiàn)在能解釋90.4%的變異比例。模型擬合得更好了！,,范例1：巴特勒運(yùn)輸公司,,由于增加自變量的數(shù)量將會影響到因變量中的變異性

5、被估計的回歸方程解釋的變異比，為了避免高估這一影響，所以許多分析學(xué)家提出用自變量的數(shù)量去修正R² 的值，R²調(diào)整的計算公式如下：,n = 數(shù)據(jù)的行數(shù);前面案例中n=10.,p = 項數(shù)(包含常數(shù)項,如Y=kx +b;則p=2,前面案例中p＝3),,,R² 調(diào)整值越大說明通常說明該方程式越合適。,R²調(diào)整值,范例1：巴特勒運(yùn)輸公司,S越小越好，當(dāng)S=0時，R2＝100％,,,,范例1：巴特勒運(yùn)輸

6、公司,在方差分析表中的P值小于0.05,代表整個方程是統(tǒng)計上顯著的，也就是行駛時間至少與與行駛距離或運(yùn)貨次數(shù)之間的一個或兩個因子間的數(shù)學(xué)關(guān)系是顯著的。,,范例1：巴特勒運(yùn)輸公司,行駛距離和送貨次數(shù)的P值都小于0.05,說明兩個因子都屬于顯著因子。,,練習(xí)1:多元回歸,練習(xí) 1: 一家廣告公司的老板打算將客戶的每周總營業(yè)收入作為電視廣告費和報刊廣告費的函數(shù)來估計,8周的歷史數(shù)據(jù)見:“廣告費用.mtw”,請分析回歸方程式，如果電視廣

7、告費為3500美元，報刊廣告費為1800美元，試估計該周總收入。,打開文件：“12_A_ 多元回歸 Muliti Regression. Mpj”中：“廣告費用.mtw”,練習(xí)1:多元回歸,練習(xí)1:多元回歸,家電商品的需求量Y與其價格X1及居民家庭平均收入X2有關(guān)，下表給出了某市10年中某家電商品需求量與價格和家庭年平均收入水平間的數(shù)據(jù)。求該商品年需求量Y關(guān)于價格X1和家庭年平均收入X2的回歸 方程。預(yù)計下一年度該商品的價格水平為

8、3500元，家庭年平均收入為18000元，希望預(yù)測該商品下一年的需求量,練習(xí)2:多元回歸,打開文件：“12_A_ 多元回歸 Muliti Regression. Mpj”中：“家電.mtw”,多元回歸的使用時機(jī),當(dāng)流程或噪音輸入變量為計量型數(shù)據(jù)（連續(xù)型數(shù)據(jù)），且輸出變量的類型也是計量型（連續(xù)型數(shù)據(jù)）時，而且輸入變量的個數(shù)超過一個時，可用多元回歸分析來研究輸入變量和輸出變量間的關(guān)系。,在計劃經(jīng)濟(jì)時期，我國鋼材產(chǎn)量Y主要與以下因素有關(guān)：原

9、油產(chǎn)量X1，生鐵產(chǎn)量X2，原煤產(chǎn)量X3，電力產(chǎn)量X4，固定資產(chǎn)投資X5，國民收入消費額X6，鐵路運(yùn)輸能力X7。下表給出了我國自1975年到1986年12年間上述各項經(jīng)濟(jì)指標(biāo)數(shù)據(jù)。試建立計劃經(jīng)濟(jì)時期影響我國鋼材產(chǎn)量最合適的回歸模型。,范例2:多元回歸,打開文件：“12_A_ 多元回歸 Muliti Regression. Mpj”中：“鋼材產(chǎn)量.mtw”,鋼材產(chǎn)量與其他經(jīng)濟(jì)變量數(shù)據(jù),范例2：鋼材產(chǎn)量與其他經(jīng)濟(jì)變量,范例2：鋼材產(chǎn)量與其他

10、經(jīng)濟(jì)變量,在方差分析表中的P值小于0.05,代表整個方程是統(tǒng)計上顯著的，R2=99.8%,代表方程式能夠解釋的變異比例很高。,,,范例2：鋼材產(chǎn)量與其他經(jīng)濟(jì)變量,有些X的P值大于0.05,代表該X可能對Y不顯著。我們需要把P值大于0.05的一個一個進(jìn)行判斷和排除，先從P值最大的開始排除。再次進(jìn)行回歸，把X7不要考慮進(jìn)回歸模型，因為X7的P值=0.975,最大。,,范例2：鋼材產(chǎn)量與其他經(jīng)濟(jì)變量,再次進(jìn)行回歸，把X7不要考慮進(jìn)回歸模型，

11、把X1~X6放到預(yù)測變量中。,范例2：鋼材產(chǎn)量與其他經(jīng)濟(jì)變量,再次進(jìn)行回歸，把X6不要考慮進(jìn)回歸模型，(因為X6的P值最大）；把X1~X5放到預(yù)測變量中。,范例2：鋼材產(chǎn)量與其他經(jīng)濟(jì)變量,依次進(jìn)行回歸，直到回歸模型中所有的預(yù)測變量的P值小于0.05為止。,多元回歸選擇合適模型的其他方法,,在上題中使用 Minitab 中的回歸程序，來看看我們?nèi)绾握业胶线m數(shù)量的輸入變量預(yù)測Y。七個變量中哪些變量與Y的關(guān)系密切，最佳回歸模型中應(yīng)該包含哪些因

12、子？顯然使用回歸的方法效率太低！那是否存在更好的縮減因子，選擇最佳擬合模型的方法呢？我們可以考慮如下步驟：步驟1: 我們將討論 多元回歸時選擇最佳模型的兩種不同的方法：方法1：逐步 此程序篩選所有輸入，以產(chǎn)生 “最佳” 的模型 方法2：最佳子集 此程序提供最佳單變量、雙變量、三變量等模型，但在處理多輸入變量時會耗費大量時間。步驟2: 回歸 一旦最佳模型被選定后，回歸程序?qū)⒂迷撃Ｐ蛯嵤└敿?xì)的分析，我們同時會執(zhí)行殘

13、差分析,步驟1的方法1:逐步回歸,逐步回歸分析菜單,響應(yīng)是我們需要預(yù)測的Y值，預(yù)測變量X1~X7全部選入。,,若大于，則從模型中刪除該變量，再重復(fù)上述操作過程。如果沒有任何自變量可以刪除，則會嘗試再加入一個新的自變量，重復(fù)上述操作，直至不能再引入也不能再刪除為止。,逐步回歸分析法就是讓計算機(jī)自動進(jìn)行多元回歸分析中的自變量篩選工作。主要有三種方法：（1）逐步（向前或向后）的方法是：自變量逐個引入，邊引入邊檢查已引入自變量中最大的p值是否

14、已大于指定的“刪除α值”，,逐步回歸,逐步回歸,（2）前進(jìn)法是：逐個引入自變量，先引入對y影響最大（p值最小者），再從其余自變量中尋找影響次大者， （p值次最小者），直到無任何變量p值小于指定的“選入α值”可以被引入為止，在前進(jìn)法中，一旦被加進(jìn)回歸模型中，就不能再被刪除。,逐步回歸,（3）后退法：一開始引入全部自變量，對于p值大于指定的“刪除α值”，逐個刪除，直至不能再刪除為止。常用的刪除α值使用0.1,上案例中使用的是 逐步（

15、向前或向后） 方法,范例2：鋼材產(chǎn)量與其他經(jīng)濟(jì)變量,逐步回歸結(jié)果,,此處顯示 X1,X2,X4是最佳的模型中的預(yù)測變量；注意：回歸步驟停在三個變量的模型，表示第四或更多變量對于提高預(yù)測度并無幫助,此行顯示每增加一個變量后， R-sq值的變化。通過增加第三個變量， R-sq值從99.31％增至99.71% R-sq調(diào)整值最大為99.60%,,Mallows Cp,用來幫助在多個候選回歸模型之間進(jìn)行選擇的一個統(tǒng)計量。Mallows Cp

16、會將整個模型的精確度和偏倚與具有最佳預(yù)測變量子集的模型進(jìn)行比較。它可幫助您在模型中的預(yù)測變量數(shù)方面實現(xiàn)重要平衡。具有過多預(yù)測變量的模型的精確度相對較差，而預(yù)測變量過少的模型又會產(chǎn)生偏倚的估計。接近預(yù)測變量數(shù)加上常量數(shù)的 Mallows Cp 值表明模型在估計真實回歸系數(shù)和預(yù)測未來響應(yīng)時比較精確且無偏倚。,Mallows Cp ≈入選自變量個數(shù)+常量數(shù),,最佳模型的判定參考,在有多個回歸方程顯著時，權(quán)衡使用哪一個？您可以參照以下參考：

17、1. 選擇R-Sq (調(diào)整值)最大的模型2. 選擇Mallows Cp接近變量個數(shù)的模型3. 工程上容易實現(xiàn)4. 控制成本較低您可以在軟件分析結(jié)果的基礎(chǔ)上結(jié)合工程上的經(jīng)驗做出選擇！,步驟1的方法2:最佳子集回歸,放入所有的因子,最佳子集,輸入變量,,,,,篩選出的最佳入選變量,根據(jù)Mallows Cp，R2調(diào)整值，S值等判斷標(biāo)準(zhǔn)，選擇三個變量的回歸模型作為最佳回歸模型，X1,X2,X4入選,步驟2:回歸,確定最佳模型變量后，我

18、們接著執(zhí)行回歸程序得到用來Y的最終回歸方程式,,回歸分析結(jié)果,此模型解釋了Y的99.7%的變異來源,,,,,回歸模型顯著,,,回歸方程式,P<0.05, 屬于顯著的自變量！,殘差分析,接下來進(jìn)行殘差分析，判斷模型是否存在異常情況。,,,殘差分析,選擇“四合一”，畫殘差的四張圖。,殘差圖的判斷,,,殘差應(yīng)該符合正態(tài)分布,殘差與擬合值的關(guān)系應(yīng)該隨機(jī),殘差與時間順序的關(guān)系應(yīng)該隨機(jī),,,殘差應(yīng)該符合正態(tài)分布,殘差圖沒有出現(xiàn)異常，所

19、以回歸模型在數(shù)學(xué)上成立，接下來您可以在實際工作中進(jìn)行檢驗和應(yīng)用。,范例3:多元回歸,打開文件：“12_A_ 多元回歸 Muliti Regression. Mpj”中：“逐步回歸范例.mtw”,六西格瑪小組推測了4種化學(xué)成分可能對混凝土在凝固放熱過程中的散熱量有影響?，F(xiàn)在希望知道在4種化學(xué)成分中，哪個或哪些是我們要尋找的關(guān)鍵的X。 在混凝土凝固放熱試驗中，記錄了13組數(shù)據(jù)，其中y為散熱量，Ｘ１，Ｘ２，Ｘ３，Ｘ４為混凝土中４種化學(xué)成分

20、．請進(jìn)行變量的篩選，得出合適的回歸模型。,范例3:多元回歸,,在會話窗口中觀察結(jié)果,?,回歸模型顯著,,,所有的自變量都不顯著,,對X1單獨進(jìn)行回歸分析,對X1單獨回歸,,,對X1單獨進(jìn)行回歸分析,P<0.05，X1顯著！,,對X2單獨進(jìn)行回歸分析,P<0.05，X2顯著！,,同理對X3,X4單獨進(jìn)行回歸，也出現(xiàn)了P<0.05, 顯示X3和X4是顯著的。為什么出現(xiàn)單獨的X顯著，而一起放到回歸模型中反而一個也不顯著？,

21、相關(guān)性檢驗,對X1~X4進(jìn)行相關(guān)性分析看看。,相關(guān)性檢驗,原來如此！X1與X3，X2與X4之間存在相關(guān)性!!!這種現(xiàn)象叫做X之間存在自相關(guān),對X1~X4進(jìn)行相關(guān)性分析看看。,,,逐步回歸分析,對于X之間存在自相關(guān)，在回歸前進(jìn)行逐步回歸或最佳子集回歸先去尋找最佳模型，再進(jìn)行回歸是較好的解決辦法。,逐步回歸分析,您有兩種選擇方案：第一種方案是模型中包含兩個變量，X4和X1;第二種方案是模型中包含三個變量，X4和X1，X2,,,,還記得

22、嗎？模型選擇的依據(jù),在有多個回歸方程顯著時，權(quán)衡使用哪一個？您可以參照以下參考：1. 選擇R-Sq (調(diào)整值)最大的模型2. 選擇Mallows Cp接近變量個數(shù)的模型3. 工程上容易實現(xiàn)4. 控制成本較低您可以在軟件分析結(jié)果的基礎(chǔ)上結(jié)合工程上的經(jīng)驗做出選擇！,,,繼續(xù)回歸…,假定我們依據(jù)實際工程經(jīng)驗，選擇模型一：X1和X4，再進(jìn)行回歸，得到回歸方程式。,,繼續(xù)回歸…,此模型解釋了Y的97.2%的變異來源,,,,,回歸模型

23、顯著,,,回歸方程式,P<0.05, 屬于顯著的自變量！,殘差分析…,,,殘差應(yīng)該符合正態(tài)分布,殘差與擬合值的關(guān)系應(yīng)該隨機(jī),殘差與時間順序的關(guān)系應(yīng)該隨機(jī),,,殘差應(yīng)該符合正態(tài)分布,殘差圖沒有出現(xiàn)異常，所以回歸模型在數(shù)學(xué)上成立，接下來您可以在實際工作中進(jìn)行檢驗和應(yīng)用。,檢查自相關(guān)的另一種方法,,,在回歸中選擇“選項”，再選擇“方差膨脹因子”,方差膨脹因子,方差膨脹因子 (VIF)表示回歸分析中存在多重共線性（預(yù)測變量之間的

24、相關(guān)性）的程度。多重共線性會產(chǎn)生問題，因為它可以增大回歸系數(shù)的方差，從而使其不穩(wěn)定或難以解釋 方差膨脹因子 (VIF) 度量相對于預(yù)測變量不線性相關(guān)時，估計回歸系數(shù)的方差膨脹多大。使用以下準(zhǔn)則解釋 VIF：方差膨脹因子多重共線性的判別，預(yù)測變量為... VIF = 1 不相關(guān)1 5 至 10 高度相關(guān)VIF 值大于 10 可能表明多重共線性過度影響了回歸結(jié)果。在

25、此情況下，可能要通過從模型中去除不重要的預(yù)測變量來減小多重共線性。,方差膨脹因子(VIF) 給出了多重共線性（multi collinearity)的度量。若 X 之間不存在任何相關(guān)性，則 VIF = 1；若 VIF 值為 5 或更高，X之間的相關(guān)性很高，所以您需要接下來使用逐步回歸或最佳子集回歸尋找合適的自變量，再進(jìn)行回歸。,,方差膨脹因子,練習(xí),美國出售的每一輛汽車都需要標(biāo)明油耗水平，即該車在城市路面和高速公路路面的行駛時每加侖

26、汽油預(yù)期達(dá)到的英里數(shù)，現(xiàn)在美國能源部收到230輛汽車的數(shù)據(jù)，您的任務(wù)是建立一個能用來估計在城市路面時的油耗的回歸方程和和能用來估計在城市路面時的油耗的回歸方程自變量有：X1:發(fā)動機(jī)的排量X2:氣缸數(shù)量,打開文件：“12_A_ 多元回歸 Muliti Regression. Mpj”中：“汽車.mtw”,練習(xí),一項研究提供了與制造業(yè)失業(yè)的周數(shù)可能有關(guān)的一些變量的數(shù)據(jù)，在這些變量中，自變量有：X1:工人的年齡X2:受教育的

27、年限X3:結(jié)婚與否，結(jié)婚則取值為“1”,否則為“0”X4:戶主嗎？如果是戶主則“1”,否則為“0”X5:工齡X6:管理崗位嗎？如果是管理崗位為“1”,否則為“0”X7:銷售工作嗎，如果是則為“1”,否則為“0”,打開文件：“12_A_ 多元回歸 Muliti Regression. Mpj”中：“失業(yè).mtw”,要點回顧,回顧一元線性回歸應(yīng)用場合了解回歸的幾種類型了解多元線性回歸的應(yīng)用場合掌握多元線性回歸的分析方法直