概率圖上的流形學(xué)習(xí).pdf

1、對(duì)訓(xùn)練數(shù)據(jù)的建模是機(jī)器學(xué)習(xí)中的一個(gè)核心問(wèn)題，本文將數(shù)據(jù)建模的兩種經(jīng)典方法——流形學(xué)習(xí)與統(tǒng)計(jì)學(xué)習(xí)作了結(jié)合，相互取長(zhǎng)補(bǔ)短。在我們之前一些相關(guān)工作的基礎(chǔ)之上，本文基于黎曼流形等方面的背景提出了一個(gè)完整的理論框架，設(shè)計(jì)了兩個(gè)互補(bǔ)的優(yōu)化算法，并通過(guò)大量的收斂性證明，凸性分析，以及計(jì)算復(fù)雜性等分析，將算法的外沿和應(yīng)用范圍作了極大的拓展，同時(shí)本文還設(shè)計(jì)了一套高效靈活的通用概率推斷引擎，稱(chēng)為YASIE(Yet Another Statistical I

2、nference Engine)，使得所有這些方法可以用類(lèi)似搭積木的方式進(jìn)行自由組合。在此基礎(chǔ)上，我們給出了這些方法和工具應(yīng)用在兩個(gè)經(jīng)典的機(jī)器學(xué)習(xí)問(wèn)題上的實(shí)驗(yàn)結(jié)果。對(duì)于訓(xùn)練數(shù)據(jù)大部分沒(méi)有標(biāo)記的半監(jiān)督學(xué)習(xí)，本文總結(jié)的方法能取得尤其好的效果，相關(guān)的工作發(fā)表在ACM Multimedia，IEEE TKDE等國(guó)際一流會(huì)議和雜志上。
　　 流形學(xué)習(xí)是假定訓(xùn)練數(shù)據(jù)的本征維度比它們實(shí)際的維度要小很多，可能出現(xiàn)的數(shù)據(jù)分布在其所在高維空間中的一

3、個(gè)低維的子流形上。而流形學(xué)習(xí)的任務(wù)是要用給出的有限個(gè)樣本來(lái)推測(cè)流形的結(jié)構(gòu)，計(jì)算并逼近一些對(duì)應(yīng)的真實(shí)流形相應(yīng)的幾何性質(zhì)．如低維子流形嵌入，切空間，拉普拉斯算子等?，F(xiàn)有的流形學(xué)習(xí)通過(guò)在樣點(diǎn)數(shù)據(jù)之間建立一個(gè)鄰接關(guān)系圖，并由這個(gè)圖的結(jié)構(gòu)誘導(dǎo)出一個(gè)朋于優(yōu)化圖上每個(gè)節(jié)點(diǎn)的標(biāo)記的目標(biāo)涵數(shù)。它的特點(diǎn)是高度非參數(shù)，對(duì)于數(shù)據(jù)間的結(jié)構(gòu)的把握高效精準(zhǔn)，恰到好處，并且常常可以證明用圖結(jié)構(gòu)離散地計(jì)算得到的結(jié)果在樣本數(shù)足夠多時(shí)能收斂到連續(xù)的情況。但它的問(wèn)題存于應(yīng)對(duì)多

4、模態(tài)，具有復(fù)雜數(shù)據(jù)結(jié)構(gòu)的輸入訓(xùn)練數(shù)據(jù)時(shí)，顯得力不從心。數(shù)據(jù)的結(jié)構(gòu)上的關(guān)系不能得到有效地建模，并且很難應(yīng)用先驗(yàn)信息。此外，為適應(yīng)動(dòng)態(tài)變化的數(shù)據(jù)而提出的在線學(xué)習(xí)的需求常常很難用流形學(xué)習(xí)得到滿(mǎn)足。另一方面，統(tǒng)計(jì)學(xué)習(xí)通過(guò)使用具有一定分解形式的聯(lián)合概率分布來(lái)建模給出的數(shù)據(jù)，得利于統(tǒng)計(jì)學(xué)深厚的積累，對(duì)于上述流形學(xué)習(xí)所遇到的問(wèn)題能有比較好的解決方案。但它的問(wèn)題在于模型通常是高度參數(shù)化的，它能否很好地?cái)M合給出的數(shù)據(jù)依賴(lài)于參數(shù)形式指定地是否準(zhǔn)確，對(duì)于數(shù)據(jù)

5、分布在比較復(fù)雜的流形上的情況，同樣捉襟見(jiàn)肘。
　　 本文從兩個(gè)不同的途徑結(jié)合兩種學(xué)習(xí)方法，一種是把流形學(xué)習(xí)誘導(dǎo)出的目標(biāo)函數(shù)添加到統(tǒng)計(jì)學(xué)習(xí)的優(yōu)化準(zhǔn)則中，作為一個(gè)正則項(xiàng)。本文大部分成形的工作基于這個(gè)思路。另一個(gè)途徑是用統(tǒng)計(jì)學(xué)習(xí)的一個(gè)基本工具——概率圖模型，直接去建模用于流形學(xué)習(xí)的鄰接關(guān)系圖，使得它所反應(yīng)的概率依賴(lài)關(guān)系在概率圖上得到直接的表達(dá)，從而更自然得融入到原有的統(tǒng)計(jì)學(xué)習(xí)中去。并且我們可以證明：(ⅰ)部分流形正則項(xiàng)可以用一定形式的