Fisher和支持向量綜合分類(lèi)器.pdf

1、支持向量機(jī)是由Vapnik教授于20世紀(jì)90年代提出的一種新的機(jī)器學(xué)習(xí)算法,它建立在VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則基礎(chǔ)上,根據(jù)小樣本的信息在模型的復(fù)雜度和期望風(fēng)險(xiǎn)之間尋求最佳折中,能夠獲得更好的泛化能力,其學(xué)習(xí)過(guò)程只需求解一個(gè)凸二次規(guī)劃問(wèn)題。近幾年,支持向量機(jī)在理論研究和算法實(shí)現(xiàn)方面都取得了突破性進(jìn)展,是數(shù)據(jù)挖掘中的一項(xiàng)新技術(shù),其卓越的學(xué)習(xí)性能,使得該技術(shù)成為機(jī)器學(xué)習(xí)領(lǐng)域新的研究熱點(diǎn),并且逐漸成為克服“過(guò)學(xué)習(xí)”和“維數(shù)災(zāi)難”等傳統(tǒng)困難的

2、強(qiáng)有力手段。目前,它已經(jīng)在許多領(lǐng)域得到了成功的應(yīng)用,比如手寫(xiě)體數(shù)字識(shí)別、文本自動(dòng)分類(lèi)、人臉檢測(cè)等。
　　 Fisher線(xiàn)性判別分析的核心思想就是尋找最佳投影方向,使得樣本在該方向上作投影后,類(lèi)內(nèi)離散度盡可能的小,類(lèi)間離散度盡可能的大。基于Fisher線(xiàn)性判別又介紹了非線(xiàn)性分類(lèi)方法--核的Fisher判別分析,其基本思想是首先將所有樣本映射到某個(gè)特征空間中,然后在該特征空間中進(jìn)行Fisher線(xiàn)性判別,從而實(shí)現(xiàn)了原輸入空間的非線(xiàn)性判

3、別。
　　 結(jié)合Fisher判別分析和支持向量機(jī)的優(yōu)點(diǎn),提出了一種新的分類(lèi)算法一Fisher和支持向量綜合分類(lèi)器(Fisher-Support Vector Classifier,簡(jiǎn)稱(chēng)FSVC)。該分類(lèi)器的核心思想就是尋找最優(yōu)分類(lèi)面的法向量w*,使得樣本向量在w*上做投影后,不僅使分類(lèi)間隔達(dá)到最大,而且使類(lèi)內(nèi)離散程度盡可能地小。對(duì)于線(xiàn)性情況,可以轉(zhuǎn)化為傳統(tǒng)的支持向量機(jī)求解,而不需要設(shè)計(jì)新的求解算法。對(duì)于非線(xiàn)性情況,利用再生核理論