聚類分析 主成分分析和典型相關(guān)分析 含matlab程序

1、226第十二章第十二章回歸分析回歸分析前面我們講過曲線擬合問題。曲線擬合問題的特點(diǎn)是，根據(jù)得到的若干有關(guān)變量的一組數(shù)據(jù)，尋找因變量與（一個(gè)或幾個(gè)）自變量之間的一個(gè)函數(shù)，使這個(gè)函數(shù)對(duì)那組數(shù)據(jù)擬合得最好。通常，函數(shù)的形式可以由經(jīng)驗(yàn)、先驗(yàn)知識(shí)或?qū)?shù)據(jù)的直觀觀察決定，要作的工作是由數(shù)據(jù)用最小二乘法計(jì)算函數(shù)中的待定系數(shù)。從計(jì)算的角度看，問題似乎已經(jīng)完全解決了，還有進(jìn)一步研究的必要嗎從數(shù)理統(tǒng)計(jì)的觀點(diǎn)看，這里涉及的都是隨機(jī)變量，我們根據(jù)一個(gè)樣本計(jì)算出

2、的那些系數(shù)，只是它們的一個(gè)（點(diǎn)）估計(jì)，應(yīng)該對(duì)它們作區(qū)間估計(jì)或假設(shè)檢驗(yàn)，如果置信區(qū)間太大，甚至包含了零點(diǎn)，那么系數(shù)的估計(jì)值是沒有多大意義的。另外也可以用方差分析方法對(duì)模型的誤差進(jìn)行分析，對(duì)擬合的優(yōu)劣給出評(píng)價(jià)。簡(jiǎn)單地說，回歸分析就是對(duì)擬合問題作的統(tǒng)計(jì)分析。具體地說，回歸分析在一組數(shù)據(jù)的基礎(chǔ)上研究這樣幾個(gè)問題：（i）建立因變量y與自變量mxxx21L之間的回歸模型（經(jīng)驗(yàn)公式）；（ii）對(duì)回歸模型的可信度進(jìn)行檢驗(yàn)；（iii）判斷每個(gè)自變量)21

3、(mixiL=對(duì)y的影響是否顯著；（iv）診斷回歸模型是否適合這組數(shù)據(jù)；（v）利用回歸模型對(duì)y進(jìn)行預(yù)報(bào)或控制。1數(shù)據(jù)表的基礎(chǔ)知識(shí)1.1樣本空間在本章中，我們所涉及的均是樣本點(diǎn)變量樣本點(diǎn)變量類型的數(shù)據(jù)表。如果有m個(gè)變量mxxx21L，對(duì)它們分別進(jìn)行了n次采樣（或觀測(cè)），得到n個(gè)樣本點(diǎn))(21imiixxxL，ni21L=則所構(gòu)成的數(shù)據(jù)表X可以寫成一個(gè)mn維的矩陣。??????????==TnTmnijeexXM1)(式中mTimiiiRx

4、xxe∈=)(21L，ni21L=，ie被稱為第i個(gè)樣本點(diǎn)。樣本的均值為)(21mxxxxL=，∑==niijjxnx11，mj21L=樣本協(xié)方差矩陣及樣本相關(guān)系數(shù)矩陣分別為TknkkmmijxexensS)()(11)(1???==∑=????????==jjiiijmmijsssrR)(其中2282.2.1最小二乘法用最小二乘法估計(jì)10ββ的值，即取10ββ的一組估計(jì)值10??ββ，使iy與xyi10???ββ=的誤差平方和達(dá)到最小

5、。若記∑=??=niiixyQ121010)()(ββββ則∑=??==niiixyQQ12101010)??()(min)??(10ββββββββ顯然0)(10≥ββQ，且關(guān)于10ββ可微，則由多元函數(shù)存在極值的必要條件得0)(21100=???=??∑=niiixyQβββ0)(21101=???=??∑=niiiixyxQβββ整理后，得到下面的方程組???????==∑∑∑∑∑=====niiiniiniiniiniiyxxx