支持向量機(jī)的核選擇.pdf

1、由Vapnik等人提出的支持向量機(jī)(Support Vector Machine，SVM)技術(shù)，由于具有極強(qiáng)的模型泛化能力，不會(huì)陷入局部極小點(diǎn)，以及很強(qiáng)的非線性處理能力等特點(diǎn)，近十年來取得了全面飛速的發(fā)展，獲得了大量成功的應(yīng)用，已成為模式識別中最為活躍的研究領(lǐng)域之一。 當(dāng)前，選擇合適的核函數(shù)及其參數(shù)(核選擇)已成為SVM進(jìn)一步發(fā)展的關(guān)鍵點(diǎn)和難點(diǎn)。核函數(shù)決定了SVM的非線性處理能力，也決定著分類函數(shù)的構(gòu)造，而對具體問題而言，選擇合

2、適的核函數(shù)及其參數(shù)，還存在著許多的實(shí)際困難。 針對SVM中的核選擇問題，本文對SVM的模型問題、特征空間線性可分的結(jié)構(gòu)問題、核學(xué)習(xí)中基核的選擇問題、以及核函數(shù)及其參數(shù)的評判準(zhǔn)則問題開展了深入的探討，主要的工作有： 1.在SVM的模型方面，給出了L2-范數(shù)下平分最近點(diǎn)原理問題；然后得到了它的解與最大間隔原理問題的解之間的關(guān)系，建立了它與最大間隔原理的等價(jià)性；指出它還具有模型性質(zhì)更好、幾何意義更直觀、能利用求解凸包之間距離的

3、內(nèi)點(diǎn)算法等優(yōu)點(diǎn)；最后給出了它的SMO(Sequential minimal optimization)求解算法。 2.在特征空間線性可分的結(jié)構(gòu)方面，利用平分最近點(diǎn)原理模型，通過對核矩陣零空間的深入分析，得出特征空間中樣本線性可分與核矩陣零空間關(guān)系的一個(gè)充要條件. 3.在基核矩陣的選取方面，首先提出矩陣的秩空間差異性(Rank SpaceDiversity，RSD)概念，其次將其作為基核矩陣的差異性度量，由此導(dǎo)出選擇基核矩

4、陣的一個(gè)定量規(guī)則“基核矩陣的秩空間差異性越大越好”。我們還給出了基于L2-范數(shù)下平分最近點(diǎn)原理的核學(xué)習(xí)模型和模型求解算法；最后通過實(shí)驗(yàn)驗(yàn)證了基核矩陣選擇規(guī)則的有效性。 4.在核函數(shù)及其參數(shù)的評判準(zhǔn)則方面，首先從分類函數(shù)抗樣本擾動(dòng)的“泛化性能”出發(fā)，分析了傳統(tǒng)最大間隔原理的不足，提出了分類函數(shù)的魯棒度概念；探討了魯棒度的性質(zhì)；并提出用最大魯棒度作為核選擇的評判準(zhǔn)則；通過與經(jīng)典的交叉驗(yàn)證方法和最小支持向量數(shù)方法的實(shí)驗(yàn)對比，表明最大魯