協(xié)方差矩陣與主成成分分析(整理后)

1、統(tǒng)計學的基本概念統(tǒng)計學的基本概念統(tǒng)計里最基本的概念就是樣本的均值，方差，或者再加個標準差。首先我們給你一個含有n個樣本的集合，依次給出這些概念的公式描述，這些高中學過數(shù)學的孩子都應該知道吧，一帶而過。均值：均值：標準差：標準差：方差：方差：很顯然，均值描述的是樣本集合的中間點，它告訴我們的信息是很有限的，而標準差給我們描述的則是樣本集合的各個樣本點到均值的距離之平均。以這兩個集合為例，[0，8，12，20]和[8，9，11，12]，兩個

2、集合的均值都是10，但顯然兩個集合差別是很大的，計算兩者的標準差，前者是8.3，后者是1.8，顯然后者較為集中，故其標準差小一些，標準差描述的就是這種“散布度”。之所以除以n1而不是除以n，是因為這樣能使我們以較小的樣本集更好的逼近總體的標準差，即統(tǒng)計上所謂的“無偏估計”。而方差則僅僅是標準差的平方。為什么需要協(xié)方差？為什么需要協(xié)方差？上面幾個統(tǒng)計量看似已經(jīng)描述的差不多了，但我們應該注意到，標準差和方差一般是用來描述一維數(shù)據(jù)的，但現(xiàn)實生

3、活我們常常遇到含有多維數(shù)據(jù)的數(shù)據(jù)集，最簡單的大家上學時免不了要統(tǒng)計多個學科的考試成績。面對這樣的數(shù)據(jù)集，我們當然可以按照每一維獨立的計算其方差，但是通常我們還想了解更多，協(xié)方差就是這樣一種用來度量兩個隨機變量關(guān)系的統(tǒng)計量，我們可以仿照方差的定義：上面涉及的內(nèi)容都比較容易，協(xié)方差矩陣似乎也很簡單，但實戰(zhàn)起來就很容易讓人迷茫了。必須要明確一點，協(xié)方差矩陣計算的是不同維度之間的協(xié)方差，協(xié)方差矩陣計算的是不同維度之間的協(xié)方差，而不是不同樣本之間

4、的。而不是不同樣本之間的。這個我將結(jié)合下面的例子說明，以下的演示將使用Matlab，為了說明計算原理，不直接調(diào)用Matlab的cov函數(shù)(藍色部分為Matlab代碼)。首先，隨機產(chǎn)生一個103維的整數(shù)矩陣作為樣本集，10為樣本的個數(shù)，3為樣本的維數(shù)。1MySample=fix(r(103)50)根據(jù)公式，計算協(xié)方差需要計算均值，那是按行計算均值還是按列呢，我一開始就老是困擾這個問題。前面我們也特別強調(diào)了，協(xié)方差矩陣是計算不同維度間的協(xié)方