正交非負(fù)局部線性嵌入及優(yōu)化算法研究.pdf

1、隨著科技的不斷發(fā)展，人們能夠接觸并獲得的數(shù)據(jù)越來越多，規(guī)模越來越大，如互聯(lián)網(wǎng)信息、氣象數(shù)據(jù)等。這些數(shù)據(jù)一方面為人類社會和生活帶來了極大便利，另一方面又帶來了挑戰(zhàn)：如何在規(guī)模龐大的數(shù)據(jù)中提取出有用的信息進(jìn)行處理以反映事物本質(zhì)特征。數(shù)據(jù)降維作為一種有效的處理方法應(yīng)運(yùn)而生。傳統(tǒng)的降維方法如主成分分析、線性判別分析等已經(jīng)得到了廣泛的應(yīng)用，但是它們提取的特征中含有負(fù)元素，而負(fù)數(shù)在某些實(shí)際應(yīng)用中缺乏合理的解釋。因此，約束特征非負(fù)的非負(fù)矩陣分解方法得

2、到廣泛關(guān)注，具有廣闊的應(yīng)用前景。
　　非負(fù)矩陣分解（NMF）將一個高維非負(fù)矩陣 m nV?R?近似分解為兩個低維非負(fù)矩陣 m rW?R?和r nH?R?的乘積WH，分解后使V與WH之間的距離盡可能的小。W和H的非負(fù)約束的直觀解釋是：整體是由局部組成的，因此 NMF廣泛應(yīng)用于模式識別、數(shù)據(jù)挖掘和計算機(jī)視覺等領(lǐng)域。然而，某些高維數(shù)據(jù)可能分布于低維的流形表面，最初的NMF沒有考慮數(shù)據(jù)的幾何結(jié)構(gòu)信息。為了考慮數(shù)據(jù)的幾何結(jié)構(gòu)信息，研究人員提

3、出基于流形的非負(fù)矩陣分解模型及其擴(kuò)展模型。在前人工作的基礎(chǔ)上，本文提出一種新的基于流形的非負(fù)矩陣分解模型——正交非負(fù)局部線性嵌入（Orthogonal Nonnegative Locally Linear Embedding，ONLLE），并針對ONLLE優(yōu)化問題提出兩個高效優(yōu)化算法。本文主要工作包括：
　?。?）正交非負(fù)局部線性嵌入——ONLLE。ONLLE假設(shè)每個樣本嵌入在它的若干最近鄰中，并且在子空間保持這種近鄰關(guān)系，使得數(shù)

4、據(jù)的局部幾何結(jié)構(gòu)保持不變。為了學(xué)習(xí)到基于局部的稀疏表示，ONLLE約束基矩陣是正交的，突出其空間局部特性。為了評估ONLLE的性能，本文在若干人臉數(shù)據(jù)集上測試了它的人臉識別和圖像聚類性能，并與其它典型的NMF模型進(jìn)行比較。實(shí)驗結(jié)果表明，ONLLE的人臉識別性能和圖像聚類性能優(yōu)于傳統(tǒng)的NMF、NPNMF和GNMF算法。
　　（2）Stiefel流形上的快速梯度下降法。乘法法則（MUR）是一種流行的NMF優(yōu)化算法，但是由于MUR每次更

5、新時沿著調(diào)整后的負(fù)梯度方向的搜索步長固定為1，導(dǎo)致MUR的收斂速度慢。為了加快ONLLE的收斂速度，本文在Stiefel流形上搜索基矩陣的解，提出ONLLE的Stiefel流形上的MUR算法。為了克服MUR固有的缺陷，本文設(shè)計了一種比 MUR更高效的Stiefel流形上的快速梯度下降法（FGD）。實(shí)驗結(jié)果表明，Stiefel流形上的FGD的收斂速度快于Stiefel流形上MUR。
　?。?）有限記憶快速梯度下降法。FGD存在退化為

6、MUR的風(fēng)險，研究人員提出多步長快速梯度下降法（MFGD），它沿著調(diào)整后的負(fù)梯度方向使用多變量牛頓法搜索最優(yōu)步長向量。MFGD存在以下兩個缺點(diǎn)：1）高維的稠密Hessian矩陣的存儲開銷過大，2）算法過程中 Hessian矩陣的求逆運(yùn)算及其與梯度的乘積運(yùn)算的時間開銷過大。為了克服MFGD的缺陷，本文提出有限記憶FGD算法（L-FGD）。特別地，在MFGD搜索最優(yōu)步長向量的過程中，本文采取有限記憶BFGS（L-BFGS）算法直接近似Hes