數(shù)據(jù)降維算法研究及其應(yīng)用.pdf

1、近年來，高維數(shù)據(jù)經(jīng)常出現(xiàn)在科學(xué)界和產(chǎn)業(yè)界相關(guān)的領(lǐng)域，如計算機視覺、模式識別、生物信息以及航空航天等。當(dāng)我們處理這些數(shù)據(jù)時，它們的高維屬性往往會成為處理和應(yīng)用這些數(shù)據(jù)的障礙，這表現(xiàn)在與之相關(guān)的計算復(fù)雜度較高并且結(jié)果并不是最優(yōu)。降維是將數(shù)據(jù)由高維約減到低維的過程而用來揭示數(shù)據(jù)的本質(zhì)低維結(jié)構(gòu)。它作為克服“維數(shù)災(zāi)難”的途徑在這些相關(guān)領(lǐng)域中扮演著重要的角色。
　　 在過去的幾十年里，有大量的降維方法被不斷地提出并被深入研究，其中常用的包括

2、傳統(tǒng)的降維算法如PCA和LDA；流形學(xué)習(xí)算法如LLE、ISOMAP、LE以及LTSA。
　　 但是，大多數(shù)現(xiàn)存的方法仍然受制于各種各樣的問題，比如，小樣本問題、out of sample problem問題、樣本的非線性分布問題以及分類問題等等。為了解決這些問題，在本文中，作者提出了一系列的新算法、改進算法、新的降維框架以及在該框架的基礎(chǔ)上開發(fā)的新算法。本文的主要貢獻在于：
　　 1.本文提出了一個新的線性降維算法，線性

3、局部切空間排列(LLTSA)。該算法運用切信息作為數(shù)據(jù)的局部表達，然后將這些局部信息在可以用線性映射得到的低維空間中排列。LLTSA可以看作是LTSA的線性逼近。
　　 2.受流形學(xué)習(xí)算法中的局部保存思想的啟發(fā)，我們提出了一種新的降維算法，最大方差映射(MVP)，用于人臉識別。該算法通過對流形上局部幾何的捕捉來實現(xiàn)局部信息的表達和保存；除了流形學(xué)習(xí)的特性以外，基于對類別信息的利用，該算法還具備判別能力。
　　 3.本文提

4、出了一種新的多模型生物特征識別系統(tǒng)。在該系統(tǒng)中，我們提出了一種專門應(yīng)用于多模型問題的降維算法，幾何保存映射(GPP)。GPP是一個判別的算法，同時它能夠通過捕捉模型內(nèi)部的幾何結(jié)構(gòu)來有效地保存幾何信息。
　　 4.受LTSA算法的啟發(fā)，本文提出了一種新的流形學(xué)習(xí)算法，局部坐標(biāo)排列(LCA)。LCA通過保存片上的鄰域關(guān)系從而得到局部坐標(biāo)作為局部鄰域的表達，然后將這些提取的局部坐標(biāo)運用排列技術(shù)在全局中排列從而得到最終的嵌入坐標(biāo)。另外，

5、為了解決out of sample問題，我們將線性逼近方法應(yīng)用于LCA，即線性LCA(LLCA)。
　　 5.本文提出一個能夠統(tǒng)一各種基于譜分析的降維算法的框架，其命名為“片排列”。該框架的內(nèi)容包括兩個階段：部分優(yōu)化和整體排列。對于部分優(yōu)化，每一個算法在構(gòu)建的片上具有不同的優(yōu)化目標(biāo)，所構(gòu)建的片是由某一個給定的點和一些相聯(lián)系的點構(gòu)成。對于整體排列，所有的片上部分優(yōu)化通過運用排列技術(shù)被集成化到一起而構(gòu)建最終的全局坐標(biāo)。作為該框架的一

6、個應(yīng)用，我們通過在部分優(yōu)化過程中施加判別信息，從而開發(fā)了一個新的降維算法，判別局部排列(DLA)。本文對統(tǒng)一框架下各種算法進行了討論并驗證了DLA算法。
　　 6.為了提高正交鄰域保存映射(ONPP)的分類性能，在基于片排列框架下，本文提出了一種改進的降維算法，命名為判別正交鄰域保存映射(DONPP)。另外，本文通過并入額外的無類標(biāo)標(biāo)號的樣本點，將DONPP延伸到半監(jiān)督的情況，也就是半監(jiān)督判別正交鄰域保存映射(SDONPP)。圖