相似性分類算法的誤差分析.pdf

1、不論是在非監(jiān)督學(xué)習(xí)中，還是在監(jiān)督學(xué)習(xí)中，相似性學(xué)習(xí)的應(yīng)用是十分廣泛而且是很有效的。當(dāng)學(xué)習(xí)器學(xué)習(xí)了一些已經(jīng)給出相似性描述的樣本對(duì)，學(xué)習(xí)器就能夠通過(guò)分析樣本對(duì)幾何接近或者接近的親密程度來(lái)對(duì)新的樣本進(jìn)行準(zhǔn)確分類或預(yù)測(cè)。相似性學(xué)習(xí)的這種特點(diǎn)剛好解決了沒(méi)有標(biāo)記樣本和樣本種類較多兩種情況下機(jī)器學(xué)習(xí)的難題，而且給出了可行的學(xué)習(xí)算法，因而在理論和實(shí)踐上引起了極大的興趣。
　　 本文介紹了相似性分析的意義和常見(jiàn)應(yīng)用；介紹了常見(jiàn)的相似性度量，如歐氏

2、距離和馬氏距離；利用Hilbert-Schmidt算子和外積算子等工具推導(dǎo)出了算子值大間隔分類器的推廣誤差的界。還從實(shí)際問(wèn)題出發(fā)提出了多核余弦分類器，并給出了其推廣誤差的界。同時(shí)，本文還通過(guò)最小化目標(biāo)函數(shù)給出了梯度下降法的算法過(guò)程；涉及到了多類問(wèn)題中的相似性學(xué)習(xí)過(guò)程：為了擁有好的預(yù)測(cè)能力，利用偏差學(xué)習(xí)的EP模型得出了訓(xùn)練樣本中任務(wù)數(shù)和每項(xiàng)任務(wù)中的樣本數(shù)的下界。
　　 論文結(jié)構(gòu)如下：
　　 第一章:介紹相似性學(xué)習(xí)的背景、意

3、義、應(yīng)用和常見(jiàn)的相似性度量。
　　 第二章:主要給出了相似性學(xué)習(xí)的兩種分類器的推廣誤差的界。介紹了相似性學(xué)習(xí)的三個(gè)假設(shè)，建立了相似性學(xué)習(xí)的基本框架。本章利用正的Hilbert-Schmidt算子來(lái)構(gòu)造分類器，推導(dǎo)出了不依賴于Rademacher復(fù)雜度的推廣誤差的界。從幾何直觀的實(shí)例中提出了多核余弦相似性分類器，并推導(dǎo)出了它的推廣誤差的界。
　　 第三章:給出了相似性學(xué)習(xí)的算法。利用得出的推廣誤差的界確定了目標(biāo)函數(shù)，證明了