面向高維數(shù)據(jù)的特征學(xué)習(xí)理論與應(yīng)用研究.pdf

1、隨著信息獲取和信息傳輸技術(shù)的飛速發(fā)展，海量圖像、視頻、文本以及音頻等數(shù)據(jù)不斷生成。這些數(shù)據(jù)結(jié)構(gòu)復(fù)雜、表征維度高，通常含有大量無(wú)關(guān)的冗余信息，直接處理和利用這些原始數(shù)據(jù)通常難以獲得理想的效果。特征學(xué)習(xí)就是要從復(fù)雜的高維數(shù)據(jù)中挖掘出反映數(shù)據(jù)本質(zhì)的、更為緊湊的內(nèi)蘊(yùn)結(jié)構(gòu)特征，不僅可以降低數(shù)據(jù)處理的時(shí)空復(fù)雜度，而且可以顯著改善后續(xù)處理任務(wù)如分類(lèi)、聚類(lèi)、檢索等的性能。為此，圍繞特征學(xué)習(xí)方法的研究受到了機(jī)器學(xué)習(xí)領(lǐng)域?qū)＜业母叨戎匾?。目前廣為使用的特征學(xué)

2、習(xí)方法包括線性特征學(xué)習(xí)的主成分分析、線性判別分析、非負(fù)矩陣分解等，以及非線性特征學(xué)習(xí)的等距映射、局部線性嵌入方法、拉普拉斯特征映射、鄰域保持嵌入、等距投影、局部保持投影以及判別鄰域嵌入等，雖然這些方法在分析和處理高維數(shù)據(jù)時(shí)有其各自的優(yōu)勢(shì)，但是在某些場(chǎng)合應(yīng)用時(shí)仍然會(huì)出現(xiàn)各種問(wèn)題。本論文正是針對(duì)現(xiàn)有特征學(xué)習(xí)方法中的不足，研究相應(yīng)的應(yīng)對(duì)措施，并提出了若干全新的算法。除此之外，由于張量能夠自然的表征復(fù)雜的數(shù)據(jù)結(jié)構(gòu)近年來(lái)備受關(guān)注，本論文在張量學(xué)習(xí)

3、方法上進(jìn)行了大膽的探索。
　　具體來(lái)說(shuō)，本文的主要貢獻(xiàn)集中在以下幾個(gè)方面:
　　(1)概念分解是純粹的無(wú)監(jiān)督學(xué)習(xí)方法，不能利用先驗(yàn)知識(shí)指導(dǎo)學(xué)習(xí)過(guò)程。針對(duì)上述不足，本文提出基于半監(jiān)督概念分解的特征學(xué)習(xí)方法。該方法利用有監(jiān)督信息指導(dǎo)聚類(lèi)過(guò)程，把對(duì)約束獎(jiǎng)懲項(xiàng)引入概念分解框架中。由于屬于同一類(lèi)的數(shù)據(jù)點(diǎn)對(duì)在新的表示空間有不同的強(qiáng)度，因此在為每個(gè)對(duì)約束添加懲罰時(shí)，依據(jù)其重要性的大小添加相應(yīng)權(quán)重，更好地解釋了類(lèi)內(nèi)方差，因而得到了更易于聚類(lèi)

4、的低維特征。通過(guò)精心設(shè)計(jì)目標(biāo)函數(shù)使得那些在源空間屬于同一類(lèi)的數(shù)據(jù)點(diǎn)在低維轉(zhuǎn)換空間仍然屬于同一類(lèi)，同時(shí)給出了求解局部最優(yōu)解的迭代更新策略，并證明了該迭代更新策略收斂。和時(shí)下經(jīng)典聚類(lèi)算法的對(duì)比實(shí)驗(yàn)，表明本算法獲得的特征表示更有利于文檔聚類(lèi)任務(wù)的高效實(shí)現(xiàn)。
　　(2)針對(duì)半監(jiān)督概念分解方法忽略無(wú)標(biāo)記樣本的局部結(jié)構(gòu)信息這一缺陷，提出了基于鄰域保持的半監(jiān)督概念分解特征學(xué)習(xí)方法。該方法把對(duì)約束信息和與不變性相關(guān)的信息引入到概念分解框架中以提高

5、學(xué)習(xí)性能。這里的不變性不僅包括幾何空間上的鄰域保持性質(zhì)，也包括由對(duì)約束must-link產(chǎn)生的約束保持性質(zhì)。為此我們使用了捕獲幾何結(jié)構(gòu)信息的p-近鄰圖和保持約束限制的成員鄰接圖編碼信息。此外，構(gòu)造了目標(biāo)函數(shù)的迭代優(yōu)化算法，分析了迭代優(yōu)化算法的收斂性。通過(guò)充分的對(duì)比實(shí)驗(yàn)驗(yàn)證了本算法具有更好的適應(yīng)性，可以獲得區(qū)分度更高的特征表示。
　　(3)局部保持投影是一種經(jīng)典的無(wú)監(jiān)督的流形學(xué)習(xí)方法，但是該方法不能利用有監(jiān)督信息指導(dǎo)學(xué)習(xí)過(guò)程。針對(duì)上

6、述不足，本文提出了基于局部一致判別的特征學(xué)習(xí)方法。該方法在LPP的基礎(chǔ)上，借助有類(lèi)別標(biāo)記數(shù)據(jù)點(diǎn)構(gòu)建類(lèi)內(nèi)鄰接圖和類(lèi)間鄰接圖，通過(guò)優(yōu)化目標(biāo)函數(shù)使得同類(lèi)的頂點(diǎn)更加緊湊，不同類(lèi)的頂點(diǎn)更加疏遠(yuǎn)，從而完成劃分過(guò)程。由此得到的局部一致判別分析方法不僅保持?jǐn)?shù)據(jù)的局部幾何結(jié)構(gòu)信息，同時(shí)也增強(qiáng)了數(shù)據(jù)的判別性。除此之外，給出了局部一致判別分析的目標(biāo)函數(shù)的優(yōu)化算法。和經(jīng)典的人臉識(shí)別算法在公開(kāi)數(shù)據(jù)集上的對(duì)比試驗(yàn)表明了本算法的有更強(qiáng)的判別能力。
　　(4)給

7、出了張量樹(shù)特征學(xué)習(xí)算法框架，揭示了經(jīng)典張量分解如Tucker分解和CP分解與張量樹(shù)學(xué)習(xí)理論的關(guān)系，并給出了張量樹(shù)特征學(xué)習(xí)算法框架下的鄰域嵌入張量學(xué)習(xí)新算法。數(shù)據(jù)的多樣化、海量化、高階化使研究者們展開(kāi)多方位的研究，張量作為一種有效的表示和分析復(fù)雜數(shù)據(jù)的工具受到了廣泛關(guān)注。我們?cè)谝延泄ぷ鞯幕A(chǔ)上，提出了新的張量樹(shù)學(xué)習(xí)算法并構(gòu)建張量樹(shù)特征學(xué)習(xí)理論框架，豐富和發(fā)展了張量學(xué)習(xí)的研究?jī)?nèi)容。進(jìn)一步地，在判別鄰域嵌入方法的基礎(chǔ)上，提出了張量樹(shù)特征學(xué)習(xí)理