流形學(xué)習(xí)的方差最小化準(zhǔn)則.pdf

1、現(xiàn)在許多機(jī)器學(xué)習(xí)學(xué)習(xí)問(wèn)題中，特征的維度通常都非常高，并且數(shù)據(jù)類別標(biāo)簽的獲取非常困難或昂貴。在一個(gè)高維度的小樣本數(shù)據(jù)集上進(jìn)行學(xué)習(xí)通常都會(huì)導(dǎo)致很嚴(yán)重的過(guò)擬合。這個(gè)問(wèn)題有兩種流行的解決方案。一種是使用主動(dòng)學(xué)習(xí)和半監(jiān)督學(xué)習(xí)來(lái)最大化帶類別標(biāo)簽的數(shù)據(jù)的價(jià)值并挖掘無(wú)類別標(biāo)簽數(shù)據(jù)的潛在價(jià)值。另一種方案則是流形學(xué)習(xí)：通過(guò)直接在數(shù)據(jù)的本征維度上進(jìn)行幾何分析來(lái)避免維度過(guò)高的問(wèn)題。這里的關(guān)鍵在于：對(duì)于許多實(shí)際生活中的高維數(shù)據(jù)，可以很自然地假設(shè)數(shù)據(jù)點(diǎn)是分布在一個(gè)

2、低維流形上的。流形的本征維度通常比外圍歐氏空間的維度低得多，因此直接分析流形的本質(zhì)幾何性質(zhì)，可以有效地避免維度災(zāi)難的問(wèn)題。
　　 本文我們將提出一個(gè)通用的框架來(lái)將兩種方案進(jìn)行統(tǒng)一。我們將在機(jī)器學(xué)習(xí)的過(guò)程中顯式地考慮到數(shù)據(jù)的流形結(jié)構(gòu)，在此基礎(chǔ)上，通過(guò)一個(gè)方差最小化的準(zhǔn)則來(lái)求得最穩(wěn)定的解。我們的工作基于拉普拉斯正則化的半監(jiān)督學(xué)習(xí)算法，這是一個(gè)基于流形假設(shè)的半監(jiān)督學(xué)習(xí)算法。通過(guò)分析算法及其解的統(tǒng)計(jì)特性，我們提出一個(gè)方差最小化的準(zhǔn)則，來(lái)

3、最大化學(xué)習(xí)的穩(wěn)定性。學(xué)習(xí)問(wèn)題的穩(wěn)定性和算法的泛化能力是密切相關(guān)，這在學(xué)習(xí)理論中已經(jīng)是眾所周知的事實(shí)。
　　 基于這個(gè)準(zhǔn)則，我們將實(shí)現(xiàn)具體的主動(dòng)學(xué)習(xí)和特征選擇算法。特征選擇算法能夠在保持原始特征維度可解釋性的前提下有效地降低數(shù)據(jù)的維度。而主動(dòng)學(xué)習(xí)算法則可以最大化類別標(biāo)簽的價(jià)值。兩個(gè)算法都基于我們的方差最小化準(zhǔn)則，因此都具有很好的抗過(guò)擬合能力。雖然他們的目標(biāo)函數(shù)都是NP難問(wèn)題，但是我們還提出了高效的近似算法可以對(duì)目標(biāo)函數(shù)進(jìn)行求解。通