競(jìng)爭(zhēng)學(xué)習(xí)向量量化和支持向量機(jī)的關(guān)鍵技術(shù)研究.pdf

1、基于數(shù)據(jù)的機(jī)器學(xué)習(xí)問(wèn)題是現(xiàn)代化智能技術(shù)中十分重要的一個(gè)方面，主要研究如何從一些觀測(cè)數(shù)據(jù)(樣本)出發(fā)得出目前尚不能通過(guò)原理分析得到的規(guī)律，利用這些規(guī)律去分析客觀對(duì)象，對(duì)未來(lái)數(shù)據(jù)或無(wú)法觀測(cè)的數(shù)據(jù)進(jìn)行預(yù)測(cè)。而學(xué)習(xí)方法基本上可以分為監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)兩種方法。 本文研究?jī)?nèi)容也分為兩部分，第一部分主要對(duì)非監(jiān)督學(xué)習(xí)中基于競(jìng)爭(zhēng)網(wǎng)絡(luò)的學(xué)習(xí)量化，特別是廣義學(xué)習(xí)量化算法進(jìn)行的研究，在論文的第二章敘述。第二部分主要對(duì)基于統(tǒng)計(jì)學(xué)習(xí)理論的支持向量機(jī)的一

2、些關(guān)鍵問(wèn)題進(jìn)行的深入研究：包括算法、核函數(shù)和模型選擇研究，主要在論文的第三、四、五、六、七、八章介紹。本文所有研究工作可以分為以下6個(gè)方面： 1.對(duì)非監(jiān)督學(xué)習(xí)中基于競(jìng)爭(zhēng)網(wǎng)絡(luò)的學(xué)習(xí)量化的研究，特別是廣義學(xué)習(xí)量化算法的研究。分析了已有算法的性質(zhì)和存在的問(wèn)題，提出一種修正的廣義學(xué)習(xí)向量量化算法，該算法不但簡(jiǎn)單，而且改進(jìn)了已有算法的一些缺陷：克服了一些算法對(duì)數(shù)據(jù)的“Scale”問(wèn)題，并且對(duì)初始點(diǎn)和初始學(xué)習(xí)率都不敏感。進(jìn)一步引入激勵(lì)因子，

3、利用模擬退火思想，給出提高一般學(xué)習(xí)向量量化算法的措施。 2.對(duì)標(biāo)準(zhǔn)支持向量機(jī)的算法研究。這部分給出了三個(gè)算法：1)針對(duì)線性分類問(wèn)題，將原二次規(guī)劃轉(zhuǎn)化為低維無(wú)約束非光滑規(guī)劃，采用合適的光滑函數(shù)給出求解該問(wèn)題的低維Newton算法；2)對(duì)一般分類問(wèn)題，通過(guò)分析二次規(guī)劃的ε-擾動(dòng)規(guī)劃的最優(yōu)解和二次規(guī)劃的無(wú)約束Lagrange對(duì)偶問(wèn)題的光滑熵函數(shù)的極小點(diǎn)的關(guān)系，提出求ε-支持向量的極大熵算法；3)對(duì)一般分類問(wèn)題，同樣討論了其無(wú)約束、非光

4、滑Lagrange對(duì)偶問(wèn)題，而采用Huber魯棒回歸函數(shù)將其近似為可微光滑分片二次函數(shù)，采用快速收斂的精確Newton型算法求解，給出訓(xùn)練支持向量機(jī)的Huber近似算法，由于目標(biāo)函數(shù)的梯度是分片線性函數(shù)，所有過(guò)程可以快速完成。 3.對(duì)變形SVM問(wèn)題的研究(1)。針對(duì)O.L.Mangasarian及其學(xué)生、合作者提出的一種簡(jiǎn)化變形SVM，利用Lagrange對(duì)偶技術(shù)，將高維二次規(guī)劃轉(zhuǎn)化極小化低維的可微分片二次函數(shù)。注意到該目標(biāo)函數(shù)

5、的梯度連續(xù)但二階導(dǎo)數(shù)在一些區(qū)域不存在，采用精確線搜索的無(wú)約束共軛梯度算法求解，提出共軛梯度支持向量機(jī)，其中處理非線性問(wèn)題時(shí)需要對(duì)核矩陣進(jìn)行Cholesky分解或非完全Cholesky分解。 4.對(duì)變形SVM問(wèn)題的研究(2)。同樣對(duì)O.L.Mangasarian及其學(xué)生、合作者提出的簡(jiǎn)化變形SVM，將其轉(zhuǎn)化為極小化低維的分片二次函數(shù)后，引入半光滑方法，指出極小化該函數(shù)相當(dāng)于求解一個(gè)半光滑方程組。結(jié)合分片二次函數(shù)性質(zhì)的研究，提出精確

6、半光滑Newton算法求解該半光滑方程組，得到精確半光滑NewtonSVM。由于有高效的精確線搜索方法、快速的Newton矩陣更新和二次收斂性等好的特點(diǎn)，該算法和其他同類算法相比，具有相當(dāng)?shù)膬?yōu)勢(shì)。 5.對(duì)SVM幾何算法的研究?；赟VM的幾何特性和已有的幾何算法研究，如最近點(diǎn)算法、S-K算法等，提出一種新的可行方向算法。充分利用到在尋求最近點(diǎn)過(guò)程中得到的所有有用信息，構(gòu)造了一個(gè)下降性更強(qiáng)的可行下降方向，和同類算法如S-K算法相比

7、減少了算法的迭代次數(shù)，提高了訓(xùn)練效率。同時(shí)利用v-SVM的幾何解釋和提出的ε-不可分的概念，將算法推廣處理不可分問(wèn)題。 6.關(guān)于核函數(shù)和模型選擇的研究。給出核函數(shù)的變換伸縮率的概念，利用它分析常用的高斯核函數(shù)的性質(zhì)，進(jìn)一步提出一種新的核函數(shù)，它具有很好的性質(zhì)：它將數(shù)據(jù)映射到特征空間后不會(huì)放大包含所有樣本的最小超球半徑、同時(shí)在局部范圍放大了任意兩個(gè)樣本間的距離、基于該核函數(shù)的SVM對(duì)參數(shù)C不敏感等。最后給出確定核函數(shù)參數(shù)的一般方法