基于密度子空間與零空間的高維數(shù)據(jù)分類算法研究.pdf

1、分類算法主要包括監(jiān)督分類與非監(jiān)督分類算法，其中非監(jiān)督分類算法也稱為聚類算法。經(jīng)典的分類算法主要基于歐氏距離來衡量樣本間的相似性，然后根據(jù)相似性來實(shí)現(xiàn)同類樣本的識別。然而，在大數(shù)據(jù)時(shí)代中，分類算法處理的對象往往是大規(guī)模的高維數(shù)據(jù)，這使得傳統(tǒng)的分類算法無法很好的發(fā)揮效果。從幾何上看，高維特征表示使得數(shù)據(jù)攜帶了過多的信息，數(shù)據(jù)分布的幾何結(jié)構(gòu)復(fù)雜，局部曲率較高，此時(shí)使用空間距離作為相似性度量的分類算法（如K均值）容易造成誤匹配問題。從代數(shù)上看，

2、由于高位數(shù)據(jù)向量之間往往具有低秩性，這意味著數(shù)據(jù)集矩陣是奇異的，部分需要對數(shù)據(jù)集矩陣求逆的算法（如線性判別分析）無法適用。本文主要通過學(xué)習(xí)高維數(shù)據(jù)的語義子空間結(jié)構(gòu)來得到數(shù)據(jù)的子空間表示。在語義子空間中，數(shù)據(jù)的表征形式變得簡潔，幾何結(jié)構(gòu)變得清晰，每一個(gè)樣本僅攜帶了原始表征中最有用的信息。
　　對于非監(jiān)督分類算法，本文提出了基于密度子空間的聚類算法（Classification by Learning the Density Sema

3、ntic Subspace，LDSC）。LDSC算法通過同胚變換，將高維空間中的數(shù)據(jù)嵌入至本征維數(shù)的語義空間當(dāng)中，此時(shí)其語義空間結(jié)構(gòu)在局部上是緊致的，而全局上是可區(qū)分的。Moser定理保證了該同胚變換的存在性，而其推論證明了可以通過密度保持的形式實(shí)現(xiàn)該同胚，從而得到原始外圍空間到密度子空間的映射。
　　對于監(jiān)督的分類算法，我們改進(jìn)了經(jīng)典線性判別分析（LDA）算法，提出了正交稀疏零空間LDA算法（SONLDA）。該方法通過求解帶正交

4、限制的優(yōu)化問題，對LDA零空間中的決策向量施加稀疏正交的性質(zhì)來學(xué)習(xí)高維數(shù)據(jù)的語義空間，從而有效的回避了由于數(shù)據(jù)高維表征造成的組內(nèi)散度矩陣不可逆，即LDA不適用的問題。由于學(xué)習(xí)得到的零空間的結(jié)構(gòu)具有稀疏且正交的特性，樣本在語義子空間中的區(qū)分度得到了很大的提高。
　　通過在圖像數(shù)據(jù)、文本數(shù)據(jù)、以及抽象特征數(shù)據(jù)上的聚類實(shí)驗(yàn)，LDSC明顯優(yōu)于對比算法，同時(shí)可以看出LDSC的語義空間結(jié)構(gòu)同理論中指出的一樣，具有很很清晰的結(jié)構(gòu)。而通過在人臉數(shù)