基于閉凸包收縮的非線性分類方法研究.pdf

1、支持向量機是在統(tǒng)計學習理論基礎上發(fā)展起來的一種全新的機器學習方法，解決了在小樣本情況下的統(tǒng)計學習問題，因此具有良好的泛化能力和推廣性能。通過核函數(shù)的構造，支持向量機也是一種利用線性方法解決非線性問題的學習機，由支持向量機核心部分，即核函數(shù)所衍生的模式分析的核方法，成為研究非線性學習問題的有力的數(shù)學基礎和研究平臺，核思想降低了對于非線性學習問題研究的復雜性，使得對非線性學習問題的研究直接轉化為對線性學習問題的研究，由此，模式分析的核方法成

2、為指導研究人員研究非線性學習問題的方法論。 本文通過對支持向量機及核思想的深入研究，以及對支持向量機多類分類方法的對比分析，做了以下幾個方面的工作： 第一，將線性兩類分類方法--平分最近點法利用核化思想進行推廣，轉化為非線性分類方法。平分最近點法和支持向量機具有相同的分類性能和推廣能力，對于相同的兩類數(shù)據，兩種方法得到的最優(yōu)分類面是相同的，但是平分最近點法具有更簡單的幾何特性和較低的計算復雜性。 第二，針對線性不

3、可分問題將閉凸包收縮原理進行推廣，轉化為非線性數(shù)據處理的方法。閉凸包收縮原理是一種數(shù)據預處理的數(shù)學手段，通過將兩類數(shù)據相對于各自的均值中心進行一定收縮，從而將兩類數(shù)據轉化為可分數(shù)據，閉凸包收縮原理最初是用來解決線性問題的，本文通過核思想將其推廣，應用到非線性問題中來。支持向量機對于不可分問題是通過軟間隔思想來解決的，即在約束條件中增加一個松弛項來增強分類器的分類性能。由于平分最近點法的特殊性，本文結合了閉凸包收縮原理來解決不可分問題，閉

4、凸包收縮原理可以通過選擇適當?shù)氖湛s率，將學習機在訓練時的錯分率降低為零，因此具有較高的優(yōu)越性和實用性。 第三，提出了在特征空間中判斷兩類數(shù)據是否有交叉重疊的分離度量方法，對于多類問題構造了分離度量矩陣，利用分離度量，給出了新的較為簡單的確定收縮系數(shù)的條件。對于不同的分類問題，采用什么樣的分類機，也要根據相應數(shù)據的具體分布情況來確定，然而現(xiàn)有的大多數(shù)分類方法都沒有提前對此作出判斷，因此具有一定的盲目性。本文提出的分離度量方法，可以

5、通過構造分離度量矩陣來判斷各個類別之間是否具有交叉重疊的樣本，同時也可以知道交叉重疊的深度。通過這種先驗信息的提取，可以減少分類機選擇的盲目性，也可以改進現(xiàn)有的多類分類方法，提高它們的分類性能。 第四，利用閉凸包收縮原理和特征空間分離度量方法對決策樹多類分類算法進行了改進。由于決策樹多類分類方法的分類性能跟決策樹的結構，尤其是決策樹根節(jié)點的選擇有緊密的聯(lián)系，一般的決策樹分類方法沒有對根節(jié)點的選取做一定的限制，因此相對比較盲目，決