稀疏無(wú)監(jiān)督線(xiàn)性降維方法研究.pdf

1、隨著存儲(chǔ)技術(shù)的發(fā)展，可獲得的數(shù)據(jù)集在樣本個(gè)數(shù)及樣本特征維度方面都有很大的提高。因此，我們需要降維(Dimensionality Reduction，DR)技術(shù)來(lái)幫助探索和分析如此龐大的數(shù)據(jù)集。一般來(lái)講，DR技術(shù)的目標(biāo)是將高維數(shù)據(jù)表示在低維空間中，旨在：從知識(shí)發(fā)現(xiàn)的角度出發(fā)，識(shí)別出一個(gè)有利于預(yù)測(cè)輸出的特征子集；通過(guò)減少特征的數(shù)量降低學(xué)習(xí)算法的時(shí)間和空間復(fù)雜度；消除噪音或不相關(guān)特征對(duì)預(yù)測(cè)準(zhǔn)確度的影響等。現(xiàn)有的DR技術(shù)大致可分為無(wú)監(jiān)督的特征轉(zhuǎn)

2、換技術(shù)和有監(jiān)督的特征選擇策略。
　　 主元分析(Principal Component Analysis，PCA)和主坐標(biāo)分析(PrincipalCoordinate Analysis，PCO)是兩種經(jīng)典的無(wú)監(jiān)督降維方法。它們通過(guò)線(xiàn)性轉(zhuǎn)換技術(shù)將高維數(shù)據(jù)轉(zhuǎn)換到低維空間并且在降維的同時(shí)保留數(shù)據(jù)的最大方差。但是，由于降維后的每個(gè)主元(Principal Component，PC)是所有特征變量的線(xiàn)性組合，且線(xiàn)性轉(zhuǎn)換矩陣中的元素非零，故

3、很難理解推導(dǎo)出的主元。為了解決在降維過(guò)程中不易理解的問(wèn)題，一些學(xué)者引入稀疏模型?，F(xiàn)有的稀疏模型主要針對(duì)PCA，稱(chēng)為稀疏主元分析(Sparse PCA)，其大致可分為兩類(lèi)：一類(lèi)是基于回歸框架，另一類(lèi)是基于主元的最大方差特性。到目前為止，還沒(méi)有關(guān)于PCO的稀疏模型。本文主要對(duì)現(xiàn)有的各種Sparse PCA模型進(jìn)行研究，并做了如下幾個(gè)方面的創(chuàng)新：
　　 在對(duì)現(xiàn)有的兩類(lèi)Sparse PCA模型研究的基礎(chǔ)上，由最佳得分(Optimal S

4、coring)框架推導(dǎo)出一種新的PCA的模型，并通過(guò)加入彈性網(wǎng)(Elastic Net)稀疏懲罰來(lái)獲得Sparse PCA模型。實(shí)驗(yàn)結(jié)果表明，我們新提出的方法在應(yīng)用于判別分析(Discriminative Analysis)的問(wèn)題時(shí)，能獲得更好的效果。
　　 根據(jù)主元分析及主坐標(biāo)分析之間的對(duì)偶性，我們將主坐標(biāo)分析歸到回歸框架下，并同樣加入elastic net稀疏懲罰來(lái)獲得稀疏主坐標(biāo)分析模型。實(shí)驗(yàn)表明，此模型能很好的捕獲數(shù)據(jù)的潛