聚類結(jié)構(gòu)保持的降維技術(shù)及實現(xiàn).pdf

1、生活中存在著各種各樣的高維數(shù)據(jù)，高維數(shù)據(jù)不僅讓人難以理解，而且現(xiàn)有的數(shù)據(jù)挖掘算法處理起來也很困難，因此需要降維技術(shù)把高維數(shù)據(jù)降到低維子空間中，使得計算機容易處理。同時，高維數(shù)據(jù)特征間存在冗余和相關(guān)性，降維技術(shù)可以消除高維數(shù)據(jù)特征間的冗余和找到它們之間的相關(guān)性，使得子空間的特征更具代表性。
　　本文對現(xiàn)有降維算法進(jìn)行了歸類，主要回顧了兩類算法:一類是保持全局結(jié)構(gòu)的降維算法，包括主成分分析、線性判別分析、自適應(yīng)降維算法等;另一類是保持

2、局部結(jié)構(gòu)的降維算法，包括局部保持投影、局部線性嵌入、拉普拉斯映射等。在此基礎(chǔ)上，本文對數(shù)據(jù)挖掘中數(shù)據(jù)降維問題進(jìn)行了研究，主要工作包括:
　　(1)深入分析了基于K均值和判別分析的自適應(yīng)降維算法，發(fā)現(xiàn)該算法只考慮了全局結(jié)構(gòu)信息，但是忽視了局部結(jié)構(gòu)信息。為了克服上述缺點，提出了一種同時保持全局和局部聚類結(jié)構(gòu)的降維算法，該算法是適合于簇狀分布的無監(jiān)督線性降維算法。具體來說，該算法首先使用K均值得到原空間的聚類標(biāo)號，其次構(gòu)造出適合于簇狀分

3、布能保持聚類結(jié)構(gòu)特點的降維目標(biāo)函數(shù)，然后求解該目標(biāo)函數(shù)，利用求得的降維矩陣將高維數(shù)據(jù)映射到低維子空間，重復(fù)執(zhí)行上述步驟直到聚類標(biāo)號不再發(fā)生變化為止。在人工數(shù)據(jù)集、UCI數(shù)據(jù)集和AR人臉數(shù)據(jù)集上的實驗結(jié)果表明了本算法的有效性。
　　(2)針對現(xiàn)有降維算法無法保持原空間中的多流形聚類結(jié)構(gòu)，提出了一種適合于流形結(jié)構(gòu)分布的降維算法。該算法先采用基于排序的流形聚類算法得到聚類標(biāo)號，再計算流形間離散性、流形內(nèi)緊湊性和流形局部的聚類相似性，構(gòu)造

4、出保持流形間離散、流形內(nèi)緊湊、局部近鄰的降維目標(biāo)函數(shù)，將高維數(shù)據(jù)投影到低維子空間，然后在子空間再迭代執(zhí)行上述步驟直到聚類標(biāo)號不再發(fā)生變化為止。在UCI數(shù)據(jù)集、Coil數(shù)據(jù)集和Digit數(shù)據(jù)集上的實驗結(jié)果表明，該算法可在低維空間產(chǎn)生能反映多流形分布的降維投影，從而有效將流形的結(jié)構(gòu)特點保持到低維子空間。
　　(3)為了方便降維算法的應(yīng)用，利用Matlab和Java混合編程設(shè)計了一個降維方法工具箱。該工具箱提供了多個降維算法，如主成分分