探索性因素分析

1、探索性因素分析,,主要內(nèi)容,因素分析簡介因素分析模型因素分析中的基本概念求共因素的主要方法因素旋轉方法因素得分應用因素分析應該注意的問題因素分析應用舉例,因素分析簡介,行為科學和社會科學研究中多變量之間的統(tǒng)計分析方法主要有：1.將多個變量與某種稱為準則變量的外部變量聯(lián)系起來進行分析。回歸分析、方差分析等。2.不使用外部準則而同等地對待所有變量，分析它們之間的相互關系。相關分析、因素分析等。,探索性因素分析,探索性因素分

2、析（Exploratory Factor Analysis）是一種常用的多元數(shù)據(jù)分析方法，它是從眾多可觀測“變量”中，概括和推論出少數(shù)不可觀測的“潛變量”（又稱因素），目的在于用最少的因素去概括和解釋大量的觀測事實，并建立起最簡潔的，基本的概念系統(tǒng)，以揭示事物之間的本質(zhì)聯(lián)系的一種統(tǒng)計分析方法。這種方法的原則是在盡可能保存原有資料信息的前提下，用較少的維度去表示原來的數(shù)據(jù)結構。,因素分析模型,因素分析假定個體在某一變量上的反應由兩部分組

3、成：一是各個變量共有的部分，稱為共同因素（Common Factor）；另一部分是各變量所特有的部分，稱為獨特因素（Unique Factor），可用下式表示： 是第i個體在第j觀測變量上的得分，(? j k）是因素對觀測變量的加權系數(shù)，（Fik）是個體i在因素F k上的得分，Uij為特殊因素，dj為特殊因素對觀

4、測變量的加權系數(shù)；N為樣本容量，n為觀測變量的個數(shù)，m為共因素的個數(shù)。 因素分析的模型主要有全分量模型和公因子模型兩個。,,,,全分量模型 （主成分分析模型）,是指用n個新的因素來線性表示n個觀測變量的因素分析模型（m=n）。 此模型希望從一組相關觀測變量中每次取得的一個公共因素的方差在觀測變量的全部方差（或剩余方差）中所占的比例最大，這一思想也是全分量模型確定公共因素的一種數(shù)學準則。 但在實際應用中，人們總是只取少數(shù)幾

5、個對觀測變量的方差貢獻較大的即為首的幾個因素。于是得到截分量模型,截分量模型（主成分分析模型）,在實際應用中，人們總是只取少數(shù)幾個對觀測變量的方差貢獻較大的即為首的幾個因素。有些人把幾個方差貢獻較小的因素看作誤差項。于是全分量模型就成為： (j=1,2,3, ……n m<n) 這一模型確切地說應稱為截分量模型（truncated component model），但經(jīng)常被稱作主成分分析模型。

6、誤差項ajej表示被忽略的幾項因素之和。,公共因素模型,指所有觀測變量中每個觀測變量均可被表示為m個公共因素和一個唯一性因素的線性加權之和： (j=1,2,3, ……n m<n) 其中公共因素可以解釋觀測變量之間的相關，唯一性因素則用以解釋觀測變量除去公共因素的影響后所剩下的那部分方差。,公共因素模型,這一模型希望從觀測變量中抽取到的因素能盡可能好地再生觀測變量之間 的相關。在這一模

7、型中將觀測變量、公共因素和唯一性因素都假定為標準變量，平均數(shù)為0，標準差為1，而且n個唯一因素uj之間相互獨立，每個唯一性因素與各個公共因素Fp(p=1,2, ……,m)之間相互獨立。各公共因素Fp是隨機變量。若假定各公共因素為互相獨立的正態(tài)分布，則觀測變量Zj就服從多元正態(tài)分布。在實際應用公共因素分析方法時，通常把唯一性因素看作不包括模型誤差，也就是說因素分析沒有考慮抽樣誤差。因此，抽樣就必須足夠大，以使抽樣誤差被忽視，樣本究竟多大合

8、適，一般至少要大于100，或者是變量數(shù)目的 5——10倍。,因素分析中的基本概念,因素載荷（Factor loading）公共因素方差（Communality）唯一性方差（uniqueness）特征值(Eigenvalue)貢獻率(Explain of Variance),因素載荷（Factor loading）,因素載荷指因素分析模型中各公共因素對觀測變量的加權系數(shù)?jk 。一般情況下，稱共因素的系數(shù)為因素載荷。即因素分析

9、模型中的系數(shù)。將所有的因素載荷以矩陣的形式表示即為因素載荷以矩陣。,,公共因素方差,公共因素方差一般用h2表示，又稱作“共同度”或“公共性”，公共因素方差是指被公共因素所決定的方差在觀測變量總方差中所占的比例。在對觀測數(shù)據(jù)進行標準化的情況下，一個觀測變量的總方差Sj2為：其中由公共因素決定的方差為：,公共因素方差在測驗或特質(zhì)行為的研究方面主要有以下用途：,1. 公共因素方差能反映該測驗對所要測量行為屬性的測量程度，公共因素方差越大

10、，該因素所能反映的行為屬性程度就越強，某一因素的方差貢獻率越大，說明該因素在他所測量的特質(zhì)中，它所起的作用就越大。2.如果在構成一個測驗的諸多項目中，某些項目構成的因素的公共方差大，說明這些項目測定被試的個別差異的功能強，也說明該組項目的區(qū)分度好，鑒別力高，同理公共因素方差越小，該項目的鑒別力越低。因此項目的公共因素方差，可用作評價項目區(qū)分度的一種指標。,唯一性方差（uniqueness）,歸因于唯一性因素的那部分方差稱為唯一性方差，

11、唯一性方差表示m個公共因素對觀測變量的方差不能作出解釋的部分，一部分歸因于所選變量的特殊性，稱為特殊性方差；剩余部分歸因于測量的不完備性。,特征值,特征值： 對于一個n階矩陣A，如果存在一個n維向量v和一個常數(shù)，滿足條件則稱為矩陣A的一個特征值，稱v為對應于特征值的一個特征向量。,,,特征值,在因素分析中，特征值表示每個因素在所有變量上的因素負荷的平方之和，它反映某一公共因素對各觀測變量的影響程度，也說明該公共因素的重要性。特征值越

12、大，說明該公共因素相對重要。,,,貢獻率,各因素的特征值（?j）在總的公共因素方差之和中所占的比例。反映該因素對所有觀測變量變異影響的大小。第j個共因素的方差貢獻率為：,變量共同度的估計,在全分量模型中可以直接用相關矩陣求解因素載荷矩陣，在公共因素模型中，由于考慮特殊因素對變量的影響，求解因素載荷矩陣則以約相關矩陣為出發(fā)點。估計變量的共同度是得到約相關矩陣估計的關鍵，,最大相關系數(shù)估計法,最大相關系數(shù)估計法是把原相關矩陣每一行（或每一

13、列）絕對值最大的一個元素作為該行（或該列）變量共同度的估計。,復相關系數(shù)平方估計法,Z J變量的復相關系數(shù)的平方為：其中RJJ 為對角線元素為1的相關矩陣R的逆矩陣中第j個變量對角線的元素，SMC是共同度估計的下限。,,公共因素個數(shù)的確定,根據(jù)累計貢獻率確定因子個數(shù)以特征值是否大于等于1為標準碎石檢驗,根據(jù)累積貢獻率確定因子個數(shù),將約相關矩陣（在主成分分析中，用相關矩陣）的特征值從大到小排列，根據(jù)前面若干個共同因素所對應的特征

14、值之和的百分比來確定。一般來說，這一比例要達到80%以上，但根據(jù)問題的復雜程度可做適當調(diào)整。,,.以特征值是否大于等于1為標準,特征值大于等于1的選為共因素，小于1的不選。,,碎石檢驗（screen test）,以特征值為縱坐標，以因素個數(shù)為橫坐標，按照因子被提取的順序，畫出因子的特征值隨因子個數(shù)變化的散點圖，根據(jù)圖的形狀來判斷抽取因子的個數(shù)。從第一個因子開始，曲線逐漸下降，然后變得平緩，最后近似于一條直線，曲線變平的前一點被認為是提取

15、的最大因子數(shù)。,,初始因素載荷矩陣求解,對于全分量模型來說，直接從變量相關矩陣入手求解因素載荷矩陣；而對于公共因素模型，則從約相關矩陣出發(fā)來求解因素載荷矩陣A。目前，求解因素載荷矩陣使用較為普遍的一種方法是主因素解法（在全分量模型中稱為主成分分析法）。它的基本思想是，考慮第一共同因素的方差對所有變量的方差貢獻最大，第二共同因素對所有變量的方差貢獻次之，……依次將全部變量的方差分解為各共同因素方差，最終求得因素載荷矩陣。,求初始因素載荷矩

16、陣的一般方法,Principal ComponentsUnweighted Least SquaresGeneralized Least SquaresMaximum LikelihoodPrincipal Axis FactoringAlpha FactoringImage Factoring,,旋轉變換,初始因子解達到了數(shù)據(jù)化簡的目的。在求初始因子這一步中，我們既確定了共因素個數(shù)，又確定了每個變量的公因子方差?？墒歉鶕?jù)初

17、始因子解，往往很難解釋因子的意義，大多數(shù)因子都和很多變量相關，但是在實際研究中，我們往往關心每個因子的實際意義是什么。因子旋轉是尋求這一實際意義的有效工具，因子旋轉的目的是通過改變坐標軸的位置，重新分配各個因子所解釋的方差的比例，使因子結構簡單并易于解釋。因子旋轉不改變模型對數(shù)據(jù)的擬合程度，不改變每個變量的公因子方差。,因子旋轉的方式,因子旋轉的方式有兩種，一種是正交旋轉，另一種是斜交旋轉。正交旋轉是使因子軸之間仍然保持90度角，即因子

18、之間是不相關的，而在斜交旋轉中，因子之間的夾角可以是任意的，即因子之間可以相關。,正交旋轉,,①四次方最大法（QUARTIMAX）,通過使因子載荷矩陣中每一行因子負荷平方的方差達到最大求得因子解。最終的簡化準則為：,,②方差最大法（VARIMAX）,四次方最大法的不同是它從簡化因子負荷矩陣的每一列出發(fā)，使和每個因子有關的負荷平方的方差最大。方差最大法通過使下式達到最大求得因子解：,,③等量最大法（EQUIMAX）,等量最大法把四次方最大

19、法和方差最大法結合起來，取V和Q的加權平均作為簡化準則，通過使下式達到最大：權數(shù)γ等于m/2，和因子數(shù)有關，當因子數(shù)為2時，等量旋轉法結果與方差最大法旋轉結果相同。,,斜交旋轉,常見的為OBLIMIN，該方法應用斜交參考軸求解。所謂的斜交參考軸是指斜主因子軸的垂直線。斜交因子解應使變量盡可能落在主軸附近，變量落在主軸附近和變量在參考軸上的投影近似為零這兩個條件是相同的。OBLIMIN方法首先求出斜交參考矩陣，斜交因子負荷矩陣等于斜

20、交參考陣的逆矩陣再按行進行規(guī)范化處理，使矩陣中每一行的元素的平方和等于1。參數(shù)δ控制因子斜交的程度，其取值一般小于等于零，等于零時，因子之間的斜交程度最大，小于零時因子之間的斜交程度減小。另外還有Promax法。,,6．因子得分及應用,在公式中可以將變量表示成公共因素的線性組合。但在有些場合，需要考慮通過變量Z的值來獲得共因素指標F的值。這種由變量的觀測值來估計各公共因素值的方法稱為因素得分。,因素得分及其應用,求因素得分涉及到用觀

21、測變量來描述因素，第p個因子在第i個個案上的值可以表示為：其中，zji 是第j個變量在第i 個個體上的值， wpj 是第p個因子和第j個變量之間的因子值系數(shù)。,,因素得分及其應用,因子分析模型中是用因子的線性組合來表示一個觀測變量，因子負荷實際是該線性組合的權數(shù)。求因子得分的過程正好相反，它是通過觀測變量的線性組合來表示因子，因子得分是觀測變量的加權平均。因為各個變量在因子上的負荷不同，所以不能把變量簡單相加，權數(shù)的大小表示了變量

22、對因子的重要程度。,因素得分及其應用,對于主成分分析法得到的因子解，可以直接得到因子值系數(shù)，對于其他方法得到的因子解，只能得到因子值系數(shù)的估計值，通過用回歸法得到因子得分系數(shù)的估計值。有了因子得分，就可以把因子作為變量來用，進行其他的統(tǒng)計分析。,,應用因素分析應該注意的問題,1.對數(shù)據(jù)的要求（1）數(shù)據(jù)類型（2）數(shù)據(jù)分布（3）對變量之間相關的檢驗 SPSS提供了三個統(tǒng)計量幫助判斷觀測數(shù)據(jù)是否適合作因素分析,對變量之間相

23、關的檢驗,反映象相關矩陣（Anti-image correlation matrix） 其元素等于負的偏相關系數(shù)。巴特利特球體檢驗（Bartlett test of sphericity）對應的零假設為相關矩陣為單位矩陣。KMO（Kaiser-Meyer-Olkin Measure of Sampling Adequacy）測度。該測度從比較觀測變量之間的簡單相關系數(shù)和偏相關系數(shù)的相對大小出發(fā)，其值的變化從0到1。當所有變量之間的偏

24、相關系數(shù)的平方和，遠遠小于簡單相關系數(shù)平方和時，KMO值接近于1，一般，大于0.9說明適合作因素分析。,應用因素分析應該注意的問題,2.樣本容量The number of variablesThe potential number of factorsThe variable to factors ratioThe degree of factor loadingsThe degree of interfactor corre