支持向量機多分類直接算法研究.pdf

1、支持向量機(Support Vector Machine，SVM)是在統(tǒng)計學習理論基礎上發(fā)展起來的一種新的機器學習方法，該方法采用結構風險最小化準則訓練學習機器，在解決有限樣本分類問題時具有很強的學習能力和泛化能力．由于支持向量機能較好地解決非線性、高維數(shù)、局部極小點等問題，成為機器學習領域一個新的研究熱點，已在很多領域得到成功的應用，如人臉檢測、手寫體數(shù)字識別、文本自動分類等．多分類是機器學習的一個重要分支，而經典的支持向量機算法是針

2、對兩分類問題提出的，因此人們將其進行推廣來解決多分類問題．該課題對支持向量機多分類直接算法(Quadratic Programming Multi-class Support Vector Machine,QP-MC-SVM)進行了一系列的研究，主要工作和結論如下：
　　1．2002年Franc等人對支持向量機多分類模型QP-MC-SVM進行了改進，給出了求解其等價模型的單點算法，克服了QP-MC-SVM的目標函數(shù)過于復雜等缺點．

3、本文給出QP-MC-SVM解的充要條件，根據(jù)該充要條件，首次從理論上證明QP-MC-SVM的改進模型與原模型之間解的一致性．
　　2．由于SVM中參數(shù)值的選取比較困難，Scholkopf等人于2000年提出了另外?C C一種改進的支持向量機—υ-支持向量機，簡稱ν-SVM．與C-SVM中的參數(shù)C不同，參數(shù)ν的取值具有實際的意義．本文對ν-SVM進行推廣，給出一種新的支持向量機多分類直接算法模型ν-QP-MC-SVM，并首次給出與ν

4、-QP-MC-SVM相關的性質定理及其對偶問題。
　　3．由于求解ν-QP-MC-SVM十分困難，本文首次對ν-QP-MC-SVM對應的原始問題進行改進，把閾值引入目標函數(shù)，在n+1維空間上考慮最大化間隔，給出它的BSVM模型．通過引入Kesler結構，首次給出ν-QP-MC-SVM的單類支持向量機模型，并首次證明單類支持向量機模型中的不等式約束eTα≥ν換成等式約束eTα=v后，問題的解不變．首次給出ν-QP-MC-SVM的BS

5、VM模型與其原始模型之間解的一致性的結論，并加以詳細證明。
　　4．由于序列最小最優(yōu)化算法(Sequential Minimal Optimization，簡稱SMO)算法采用解析法進行求解支持向量機，使支持向量機擁有了解決超大規(guī)模數(shù)據(jù)分類問題的能力．本文首次給出求解ν-QP-MC-SVM對應的單類支持向量機的SMO算法，通過數(shù)值試驗說明ν-QP-MC-SVM的SMO算法與QP-MC-SVM對應的單點算法相比，在分類準確率基本相同