svm理論與算法分析

1、硬間隔線性支撐向量機(jī)假設(shè)給定一個(gè)特征空間上的訓(xùn)練數(shù)據(jù)集：T=(x1y1)，(x2y2)，…，(xNyN)其中，為第i個(gè)特征向量或?qū)嵗?，為的類?biāo)記，當(dāng)時(shí)，稱為正xi∈Rnyi∈1?1i=12…Nxiyixiyi=1xi例，當(dāng)時(shí)，稱為負(fù)例；為樣本點(diǎn)。yi=?1xi(xi，yi)假設(shè)訓(xùn)練數(shù)據(jù)集是線性可分的（存在硬間隔），那么學(xué)習(xí)的目標(biāo)是在特征空間找到一個(gè)分離超平面，能將實(shí)例分到不同的類。分離超平面方程，它由法向量w和截距b決定，可用表示。分離

2、超平面w?xb=0(wb)將特征空間分為兩部分，一部分是正類，一部分是負(fù)類。法向量指向的一側(cè)為正類，另一側(cè)是負(fù)類。一般地，當(dāng)訓(xùn)練數(shù)據(jù)集線性可分時(shí)，存在無(wú)窮個(gè)分離超平面可將兩類數(shù)據(jù)正確分開，感知機(jī)利用誤分類最小的策略，求得分離超平面，不過(guò)這是的解有無(wú)窮多。線性可分支撐向量機(jī)利用間隔最大化求最優(yōu)分離超平面，解唯一。一、模型推導(dǎo)1.函數(shù)間隔：一般來(lái)說(shuō)，一個(gè)點(diǎn)距離分離超平面的遠(yuǎn)近可以表示分類預(yù)測(cè)的確信程度。在超平面w?xb=0確定的情況下，能夠

3、相對(duì)地表示（注意：真實(shí)距離為）點(diǎn)距離超平面的遠(yuǎn)近。而的|w?xb||w?xb|∥w∥xw?xb符號(hào)與類標(biāo)記的符號(hào)是否一致能夠表示分類是否正確。所以可用標(biāo)量來(lái)表示分類的正確性及確信yy(w?xb)度，值為正表示分類正確，值為負(fù)表示分類錯(cuò)誤。超平面關(guān)于樣本點(diǎn)的函數(shù)間隔為：()(，)=(?)超平面關(guān)于訓(xùn)練數(shù)據(jù)集T的函數(shù)間隔：()==…==…(?)2.幾何間隔：函數(shù)間隔可以表示分類預(yù)測(cè)的正確性及確信度，但是選擇分離超平面時(shí)，只有函數(shù)間隔還不夠。

4、因?yàn)橹灰杀壤馗淖僿和b，雖然超平面并沒(méi)有改變，但函數(shù)間隔（它是的線性函數(shù)）卻依原比例同(wb)等改變。為了將表示的超平面的唯一化，即每個(gè)超平面對(duì)應(yīng)中的唯一向量，可以對(duì)法向量w(wb)Rn1(wb)加以規(guī)范化約束，這時(shí)函數(shù)間隔稱為幾何間隔。∥w∥=1超平面關(guān)于樣本點(diǎn)的幾何間隔為：()(，)=∥∥=(∥∥?∥∥)超平面關(guān)于訓(xùn)練數(shù)據(jù)集T的幾何間隔為：()==…==…(∥∥?∥∥)3.間隔最大化支撐向量機(jī)學(xué)習(xí)的基本想法是求解能夠正確劃分訓(xùn)練

5、數(shù)據(jù)集并且?guī)缀伍g隔最大的分離超平面。對(duì)于線性可分的訓(xùn)練數(shù)據(jù)集而言，線性可分分離超平面有無(wú)窮多個(gè)，每一個(gè)都是一個(gè)感知機(jī)，但是幾何間隔最大的分離超平面時(shí)唯一的。間隔最大化的直觀解釋是：對(duì)訓(xùn)練數(shù)據(jù)集找到幾何間隔最大的超平面意味著以充分大的卻新都對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行分類。也就是說(shuō)，不僅將正負(fù)實(shí)例點(diǎn)要分開，而且對(duì)最難分的實(shí)例點(diǎn)（離超平面最近的點(diǎn)）也有足夠多大的確信度將它們分開。因此所要優(yōu)化的問(wèn)題表示為：..(∥∥?∥∥)≥=…w=N∑i=1αiyixi

6、N∑i=1αiyi=0帶入拉格朗日函數(shù)，得出()=∑=∑=(?)?∑=((∑=)?)∑==?∑=∑=(?)∑=（2）求()(?∑=∑=(?)∑=)..∑==，≥=…轉(zhuǎn)換為求極小(∑=∑=(?)?∑=)..∑==，≥=…根據(jù)對(duì)偶理論，對(duì)上述對(duì)偶優(yōu)化存在，使是原始問(wèn)題的解，是對(duì)偶問(wèn)題的解，因此求解原始問(wèn)題，w?，b?α?可以轉(zhuǎn)化為求解對(duì)偶問(wèn)題。3.最優(yōu)解根據(jù)KKT條件（a）?w?L(w?b?α?)=w??∑Ni=1α?iyixi=0（b）?