Fisher和支持向量綜合分類器.pdf

1、支持向量機(jī)是由Vapnik教授于20世紀(jì)90年代提出的一種新的機(jī)器學(xué)習(xí)算法,它建立在VC維理論和結(jié)構(gòu)風(fēng)險最小化原則基礎(chǔ)上,根據(jù)小樣本的信息在模型的復(fù)雜度和期望風(fēng)險之間尋求最佳折中,能夠獲得更好的泛化能力,其學(xué)習(xí)過程只需求解一個凸二次規(guī)劃問題。近幾年,支持向量機(jī)在理論研究和算法實現(xiàn)方面都取得了突破性進(jìn)展,是數(shù)據(jù)挖掘中的一項新技術(shù),其卓越的學(xué)習(xí)性能,使得該技術(shù)成為機(jī)器學(xué)習(xí)領(lǐng)域新的研究熱點,并且逐漸成為克服“過學(xué)習(xí)”和“維數(shù)災(zāi)難”等傳統(tǒng)困難的

2、強(qiáng)有力手段。目前,它已經(jīng)在許多領(lǐng)域得到了成功的應(yīng)用,比如手寫體數(shù)字識別、文本自動分類、人臉檢測等。
　　 Fisher線性判別分析的核心思想就是尋找最佳投影方向,使得樣本在該方向上作投影后,類內(nèi)離散度盡可能的小,類間離散度盡可能的大?；贔isher線性判別又介紹了非線性分類方法--核的Fisher判別分析,其基本思想是首先將所有樣本映射到某個特征空間中,然后在該特征空間中進(jìn)行Fisher線性判別,從而實現(xiàn)了原輸入空間的非線性判

3、別。
　　 結(jié)合Fisher判別分析和支持向量機(jī)的優(yōu)點,提出了一種新的分類算法一Fisher和支持向量綜合分類器(Fisher-Support Vector Classifier,簡稱FSVC)。該分類器的核心思想就是尋找最優(yōu)分類面的法向量w*,使得樣本向量在w*上做投影后,不僅使分類間隔達(dá)到最大,而且使類內(nèi)離散程度盡可能地小。對于線性情況,可以轉(zhuǎn)化為傳統(tǒng)的支持向量機(jī)求解,而不需要設(shè)計新的求解算法。對于非線性情況,利用再生核理論