基于廣泛內(nèi)核的CVM算法研究及參數(shù)C的選擇.pdf

1、支持向量機(jī)是近年來流行的機(jī)器學(xué)習(xí)方法，建立在結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的基礎(chǔ)上，因此能夠較好地處理小樣本情況下的學(xué)習(xí)問題。然而在支持向量機(jī)算法的大樣本學(xué)習(xí)應(yīng)用中，存在著三大必須解決的問題：算法速度問題、支持向量存量問題和算法參數(shù)選擇問題。目前主流的支持向量機(jī)優(yōu)化方程和訓(xùn)練算法難以同時(shí)滿足速度快、內(nèi)存占用少并且支持向量少的要求，主要困難在于支持向量機(jī)訓(xùn)練過程中支持向量個(gè)數(shù)太多。核向量機(jī)是支持向量機(jī)的一個(gè)重要改進(jìn)，可以極大減少支持向量的個(gè)數(shù)，但是仍

2、然存在內(nèi)核限制，泛化能力低等缺陷。所以本文在分析了支持向量機(jī)的基本理論和基本性質(zhì)的基礎(chǔ)上，針對(duì)核向量機(jī)算法的缺點(diǎn)和不足，提出基于廣泛內(nèi)核的核向量機(jī)算法和基于核聚類的相對(duì)距離比較方法，克服了現(xiàn)存算法存在的缺陷，提高了支持向量機(jī)的訓(xùn)練與分類效率。
　　 首先針對(duì)最小閉包球問題的內(nèi)核限制問題，分析了最小閉包球和中心約束閉包球之間的關(guān)系；在此基礎(chǔ)上，針對(duì)最小閉包球問題的二次規(guī)劃問題，提出新超球的球心和半徑的更新方法，從而得到新的基于廣泛

3、核的核支持向量機(jī)算法；從理論上證明了基于廣泛核的核支持向量機(jī)算法的收斂性，并給出了該算法的時(shí)間復(fù)雜度和空間復(fù)雜度。
　　 其次針對(duì)已有的參數(shù)C選擇算法缺乏啟發(fā)性以及選取困難的不足，本文在分析了核聚類算法和距離比較算法的基礎(chǔ)之后，提出基于核聚類的相對(duì)距離比較方法。該算法利用核聚類算法在特征空間對(duì)樣本點(diǎn)進(jìn)行聚類，然后根據(jù)每個(gè)樣本點(diǎn)到聚類中心的距離的比值，得到參數(shù)C。本文在理論方面，分析了算法的復(fù)雜度，選取的參數(shù)提高了核支持向量機(jī)算法

4、的泛化能力。
　　 最后，本文在Linux環(huán)境下進(jìn)行實(shí)驗(yàn)，從CPU運(yùn)行時(shí)間、核向量集的大小及測(cè)試準(zhǔn)確率三個(gè)方面，分別分析比較核向量機(jī)、簡(jiǎn)單核向量機(jī)和基于廣泛內(nèi)核的核向量機(jī)三個(gè)算法；分別利用交叉驗(yàn)證法、結(jié)構(gòu)風(fēng)險(xiǎn)法和基于核聚類的距離計(jì)較方法選擇參數(shù)C，然后分析比較算法的預(yù)測(cè)準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，基于廣泛內(nèi)核的核向量機(jī)去除了內(nèi)核的限制，降低了算法的復(fù)雜度，并提高了算法的泛化能力；基于核聚類的相對(duì)距離計(jì)較方法可以選取合適的參數(shù)C，提高算