pca分析方法

1、主成分分析主成分分析主成分分析（PrincipalComponentAnalysis，PCA）或者主元分析。是一種掌握事物主要矛盾的統(tǒng)計分析方法，它可以從多元事物中解析出主要影響因素，揭示事物的本質(zhì)，簡化復雜的問題。計算主成分的目的是將高維數(shù)據(jù)投影到較低維空間。給定n個變量的m個觀察值，形成一個n′m的數(shù)據(jù)矩陣，n通常比較大。對于一個由多個變量描述的復雜事物，人們難以認識，那么是否可以抓住事物主要方面進行重點分析呢？如果事物的主要方面剛

2、好體現(xiàn)在幾個主要變量上，我們只需要將這幾個變量分離出來，進行詳細分析。但是，在一般情況下，并不能直接找出這樣的關(guān)鍵變量。這時我們可以用原有變量的線性組合來表示事物的主要方面，PCA就是這樣一種分析方法。PCA主要用于數(shù)據(jù)降維，對于一系列例子的特征組成的多維向量，多維向量里的某些元素本身沒有區(qū)分性，比如某個元素在所有的例子中都為1，或者與1差距不大，那么這個元素本身就沒有區(qū)分性，用它做特征來區(qū)分，貢獻會非常小。所以我們的目的是找那些變化大

3、的元素，即方差大的那些維，而去除掉那些變化不大的維，從而使特征留下的都是“精品”，而且計算量也變小了。對于一個k維的特征來說，相當于它的每一維特征與其他維都是正交的（相當于在多維坐標系中，坐標軸都是垂直的），那么我們可以變化這些維的坐標系，從而使這個特征在某些維上方差大，而在某些維上方差很小。例如，一個45度傾斜的橢圓，在第一坐標系，如果按照xy坐標來投影，這些點的x和y的屬性很難用于區(qū)分他們，因為他們在xy軸上坐標變化的方差都差不多，

4、我們無法根據(jù)這個點的某個x屬性來判斷這個點是哪個，而如果將坐標軸旋轉(zhuǎn)，以橢圓長軸為x軸，則橢圓在長軸上的分布比較長，方差大，而在短軸上的分布短，方差小，所以可以考慮只保留這些點的長軸屬性，來區(qū)分橢圓上的點，這樣，區(qū)分性比xy軸的方法要好！所以我們的做法就是求得一個k維特征的投影矩陣，這個投影矩陣可以將特征從高維降到低維。投影矩陣也可以叫做變換矩陣。新的低維特征必須每個維都正交，特征向量都是正交的。通過求樣本矩陣的協(xié)方差矩陣，然后求出協(xié)方

5、差矩陣的特征向量，這些特征向量就可以構(gòu)成這個投影矩陣了。特征向量的選擇取決于協(xié)方差矩陣的特征值的大小。舉例：對于一個訓練集，100個對象模板，特征是10維，那么它可以建立一個10010的矩陣，作為樣本。求這個樣本的協(xié)方差矩陣，得到一個1010的協(xié)方差矩陣，然后求出這個協(xié)方差矩陣的特征值和特征向量，應(yīng)該有10個特征值和特征向量，我們根據(jù)特征值的大小，取前四個特征值所對應(yīng)的特征向量，構(gòu)成一個104的矩陣，這個矩陣就是我們要求的特征矩陣，10

6、010的樣本矩陣乘以這個104的特征矩陣，就得到了一個1004的新的降維之后的樣本矩陣，每個特征的維數(shù)下降了。當給定一個測試的特征集之后，比如110維的特征，乘以上面得到的104的特征矩陣，便可以得到一個14的特征，用這個特征去分類。所以做PCA實際上是求得這個投影矩陣，用高維的特征乘以這個投影矩陣，便可以將高維特征的維數(shù)下降到指定的維數(shù)。PCA的目標是尋找r（rn）個新變量，使它們反映事物的主要特征，壓縮原有數(shù)據(jù)矩陣的規(guī)模。每個新變量

7、是原有變量的線性組合，體現(xiàn)原有變量的綜合效果，具有一函數(shù)描述COEFF=princomp(X)perfmsprincipalcomponentsanalysis(PCA)onthenbypdatamatrixXreturnstheprincipalcomponentcoefficientsalsoknownasloadings.RowsofXcrespondtoobservationscolumnstovariables.COEFFis

8、apbypmatrixeachcolumncontainingcoefficientsfoneprincipalcomponent.Thecolumnsareinderofdecreasingcomponentvariance.在n行p列的數(shù)據(jù)集X上做主成分分析。返回主成分系數(shù)。X的每行表示一個樣本的觀測值，每一列表示特征變量。COEFF是一個p行p列的矩陣，每一列包含一個主成分的系數(shù)，列是按主成分變量遞減順序排列。(按照這個翻譯很難理

9、解，其實COEFF是X矩陣所對應(yīng)的協(xié)方差陣V的所有特征向量組成的矩陣，即變換矩陣或稱投影矩陣，COEFF每列對應(yīng)一個特征值的特征向量，列的排列順序是按特征值的大小遞減排序，后面有具體例子解釋，見說明說明1)princompcentersXbysubtractingoffcolumnmeansbutdoesnotrescalethecolumnsofX.Toperfmprincipalcomponentsanalysiswithstard

10、izedvariablesthatisbasedoncrelationsuseprincomp(zsce(X)).Toperfmprincipalcomponentsanalysisdirectlyonacovariancecrelationmatrixusepcacov.計算PCA的時候，MATLAB自動對列進行了去均值的操作，但是并不對數(shù)據(jù)進行規(guī)格化，如果要規(guī)格化的話，用princomp(zsce(X))。另外，如果直接有現(xiàn)成的協(xié)方

11、差陣，用函數(shù)pcacov來計算。[COEFFSCE]=princomp(X)returnsSCEtheprincipalcomponentscesthatistherepresentationofXintheprincipalcomponentspace.RowsofSCEcrespondtoobservationscolumnstocomponents.返回的SCE是對主分的打分，也就是說原X矩陣在主成分空間的表示。SCE每行對應(yīng)樣本

12、觀測值，每列對應(yīng)一個主成份(變量)，它的行和列的數(shù)目和X的行列數(shù)目相同。[COEFFSCElatent]=princomp(X)returnslatentavectcontainingtheeigenvaluesofthecovariancematrixofX.返回的latent是一個向量，它是X所對應(yīng)的協(xié)方差矩陣的特征值向量。[COEFFSCElatenttsquare]=princomp(X)returnstsquarewhichc

13、ontainsHotellingsT2statisticfeachdatapoint.返回的tsquare，是表示對每個樣本點Hotelling的T方統(tǒng)計量(我也不很清楚是什么東東)。Thescesarethedatafmedbytransfmingtheiginaldataintothespaceoftheprincipalcomponents.Thevaluesofthevectlatentarethevarianceoftheco