基于數(shù)據(jù)局部結(jié)構(gòu)信息的特征提取中的關(guān)鍵問題研究.pdf

1、很多現(xiàn)實世界中的應(yīng)用，特別是在模式識別，機器學(xué)習(xí)，計算機視覺和數(shù)據(jù)挖掘領(lǐng)域中，都涉及到對高維數(shù)據(jù)的處理。特征提取和維數(shù)約簡的方法因為能夠找到數(shù)據(jù)最理想的低維表示而在這些領(lǐng)域中扮演了重要的角色。而在這些方法中，由于具有比其它方法更為顯著的優(yōu)勢，線性特征提取方法成為了一種流行的維數(shù)約簡的工具。最近幾年，隨著流形學(xué)習(xí)的發(fā)展，數(shù)據(jù)的局部結(jié)構(gòu)由于隱含了數(shù)據(jù)的潛在信息引起了越來越多的注意。
　　 與全局維數(shù)約簡方法不同，流形學(xué)習(xí)方法試圖找到

2、嵌入在數(shù)據(jù)輸入空間的低維流形結(jié)構(gòu)。傳統(tǒng)的流形學(xué)習(xí)方法，如ISOMAP，LLE和Laplacian Eigenmaps，通過非監(jiān)督學(xué)習(xí)的方式來尋求數(shù)據(jù)的低維流形。為了挖掘局部判別流形結(jié)構(gòu)，局部判別分析方法在鑒別潛在子流形結(jié)構(gòu)的同時引入了數(shù)據(jù)的判別信息。從數(shù)學(xué)的角度看，這些維數(shù)約簡方法都可以統(tǒng)一用關(guān)系圖嵌入框架來解釋，所不同的只是它們中內(nèi)在相似圖和懲罰圖的構(gòu)造規(guī)則。然而，這些局部判別方法仍然存在一些缺陷，如維度災(zāi)難，增量學(xué)習(xí)等。
　　

3、 另外，非負矩陣因子(Nonnegative Matrix Factorization，NMF)同樣也是一種基于數(shù)據(jù)局部結(jié)構(gòu)的數(shù)據(jù)挖掘方法，其等同于一個具有非負邊界限制的優(yōu)化問題。在已有的研究成果中，非負矩陣因子主要是通過添加額外的優(yōu)化項來解決機器學(xué)習(xí)和計算機視覺中的一些應(yīng)用問題。為了克服傳統(tǒng)的相乘學(xué)習(xí)算法收斂速度過慢的問題，最近有一些研究者提出了基于投影梯度的非負矩陣因子算法。但是，礙于非負限制和額外添加的優(yōu)化項，這些非負矩陣因子方

4、法常常會遇到不恰當(dāng)學(xué)習(xí)的問題。
　　 本文主要針對基于數(shù)據(jù)局部結(jié)構(gòu)的特征提取方法的幾個熱點問題進行了深入地研究，主要的貢獻如下：
　　 ①針對維度災(zāi)難的問題，已有的局部判別方法使用主成分分析(PrincipalComponent Analysis，PCA)方法來對數(shù)據(jù)進行預(yù)處理降維，但這有可能會破壞數(shù)據(jù)的局部結(jié)構(gòu)。本文將判別嵌入考慮為一個在樣本數(shù)據(jù)空間中的核處理過程，提出一種基于核框架的判別處理方法來提取嵌入特征。與其它

5、方法相比，該方法避免了PCA的預(yù)處理，也不需要對數(shù)據(jù)進行裁剪操作。通過在一系列高維數(shù)據(jù)集上的實驗表明，該方法具有較好的健壯性和杰出的性能優(yōu)勢。
　　 ②盡管局部判別子空間方法在判別形式上與LDA具有一致性，但它們的理論性質(zhì)卻截然不同。本文以局部判別零空間為例，研究了局部判別子空間方法相關(guān)的計算和理論基礎(chǔ)。首先，本文在零空間LDA的基礎(chǔ)上提出局部判別零空間方法，并且論證它的計算復(fù)雜度主要是由關(guān)系圖中連接邊的數(shù)量決定的。這使得當(dāng)需要

6、處理的數(shù)據(jù)量較大時，算法無法順利實施。為了解決這個問題，本文提出一種改進的局部零空間方法，該方法用懲罰子空間來近似完整的局部判別子空間以達到改進算法效率的目的。實驗研究發(fā)現(xiàn)，該近似方法能夠達到與原來的學(xué)習(xí)方法相近似的識別結(jié)果。
　　 ③由于當(dāng)有新增數(shù)據(jù)時，局部判別分析方法沒有明確可用的更新規(guī)則，這使得為其設(shè)計增量學(xué)習(xí)方法非常困難。為了彌補這一缺陷，本文提出一種提取判別特征的監(jiān)督學(xué)習(xí)方法，叫做局部判別子空間嵌入(local dis

7、criminant subspaceembedding，LDSE)。然后，提出了其增量學(xué)習(xí)方法來尋求在存在新數(shù)掘進入的情況下的判別子空間，該方法的主要思想是利用奇異值分解的更新算法來將基準方法擴展為可進行增量學(xué)習(xí)的方法。從人臉識別的實驗來看，該增量學(xué)習(xí)方法能夠在更小的計算開銷下得到與基準嵌入方法相近的識別結(jié)果。
　　 ④已有的邊緣學(xué)習(xí)方法在判別邊緣擁有最短的類間距離的理論前提下，試圖在所有類間數(shù)據(jù)對中找到局部邊緣。然而，該方法常

8、常難以提供最佳的判別力，特別是在數(shù)據(jù)呈多模態(tài)分布的情況中。究其原因，是由于邊緣學(xué)習(xí)方法使用有限的數(shù)據(jù)對來確定判別邊緣，使得得到的邊緣可能無法反映數(shù)據(jù)的真實的分布情況，使得在低維空間中投影得到的樣本無法被正確分類。
　　 不失一般性，線性子空間學(xué)習(xí)算法也可以理解為在低維空間中對一系列數(shù)據(jù)對吸引和排斥關(guān)系的加強?；谶@樣的觀點，提出一種邊緣子空間學(xué)習(xí)方法，叫做邊緣判別投影(marginal discriminant projecti

9、ons，MDP)。與已有的邊緣學(xué)習(xí)方法不同，通過分層模糊聚類來自適應(yīng)地確定局部判別邊緣，同時遞歸目標(biāo)優(yōu)化過程也得以避免。
　　 ⑤為了挖掘非負數(shù)據(jù)中的信息成分，提出了一種以信息理論學(xué)習(xí)相關(guān)的非負矩陣學(xué)習(xí)方法，并使用共軌梯度方法來加強遞歸學(xué)習(xí)過程。然而，與其它擴展的梯度非負矩陣因子算法一樣，礙于非負邊界限制，在遞歸過程中不可避免地會遇到不恰當(dāng)學(xué)習(xí)的問題。為了解決這個問題，提出了一個改進的線性搜索方法，在保持目標(biāo)函數(shù)下降的同時通過確