模糊與雙重正則化支持向量機(jī)的研究及應(yīng)用.pdf

1、近年來，支持向量機(jī)（Support Vector Machine）作為數(shù)據(jù)挖掘中的一種新方法得到了比較充分的發(fā)展與應(yīng)用.它是以最優(yōu)化理論為依托，主要用來探求一些不能通過原理分析從觀測數(shù)據(jù)（樣本）中得到的分類或回歸的規(guī)律，然后利用這些規(guī)律去分析海量數(shù)據(jù)中無法觀測到的數(shù)據(jù)現(xiàn)象。在線性和非線性優(yōu)化理論的支持下，SVM具有擬合精度高、選擇參數(shù)少、推廣能力強(qiáng)和全局最優(yōu)等特點(diǎn)。它較好地解決了數(shù)據(jù)挖掘中的小樣本、高噪聲、多野點(diǎn)、高維數(shù)的分類和回歸實(shí)際

2、問題并成為機(jī)器學(xué)習(xí)領(lǐng)域新的研究熱點(diǎn)，被廣泛應(yīng)用到模式識(shí)別、函數(shù)擬合和密度估計(jì)等領(lǐng)域。本文主要針對(duì)數(shù)據(jù)分析中的腫瘤特征基因提取、模糊隸屬度在支持向量機(jī)中應(yīng)用、不平衡數(shù)據(jù)的分類、雙重正則化支持向量機(jī)的性質(zhì)與應(yīng)用等問題進(jìn)行研究，主要研究工作如下：
　　1、研究了支持向量機(jī)對(duì)小樣本、高維數(shù)的腫瘤特征基因的提取問題.根據(jù)結(jié)腸癌腫瘤基因表達(dá)譜樣本的高維數(shù)、小樣本和高噪聲等特點(diǎn)，提出用Bhattacharyya距離對(duì)腫瘤基因進(jìn)行測量，濾除與分類

3、無關(guān)的基因，然后用腫瘤基因?qū)χС窒蛄繖C(jī)模型的敏感度進(jìn)行二次提取。并用它的歸一化值對(duì)重要基因賦權(quán)，形成只有少數(shù)重要致病腫瘤基因的新樣本集.最后，把支持向量機(jī)應(yīng)用于對(duì)新樣本集的特征基因進(jìn)行分析與測試。實(shí)驗(yàn)證明這種分析方法提高了腫瘤診斷的準(zhǔn)確率。
　　2、針對(duì)不平衡數(shù)據(jù)集中類不平衡比比較大的分類問題，利用樣本點(diǎn)的特性建立類不平衡調(diào)節(jié)因子和模糊隸屬度，提出平衡模糊支持向量機(jī).首先計(jì)算樣本協(xié)方差矩陣，求得類不平衡調(diào)節(jié)因子，然后計(jì)算各樣本點(diǎn)的

4、模糊隸屬度，得到各樣本對(duì)分類超平面的貢獻(xiàn)率.類平衡調(diào)節(jié)因子和模糊隸屬度同時(shí)對(duì)分類器的誤差項(xiàng)產(chǎn)生影響，結(jié)果表明：這種平衡模糊支持向量機(jī)對(duì)類不平衡比較大的分類問題具有很好的分類效果。
　　3、由于樣本中存在很多孤立點(diǎn)或噪聲，從而在分析過程中導(dǎo)致支持向量機(jī)易產(chǎn)生過學(xué)習(xí)問題。通過分析模糊支持向量機(jī)和臨近支持向量機(jī)的特點(diǎn)，借鑒它們的優(yōu)點(diǎn)：模糊隸屬度和臨近超平面，提出了一種基于數(shù)據(jù)域描述的模糊隸屬度數(shù)據(jù)處理方法?？紤]了樣本點(diǎn)到類中心的距離與樣

5、本對(duì)分類貢獻(xiàn)率的關(guān)系。這種數(shù)據(jù)預(yù)處理方法的應(yīng)用使分類問題變得更為清晰和準(zhǔn)確。結(jié)果表明：采用新的模糊隸屬度模糊臨近支持向量機(jī)算法有較高的識(shí)別率，但也耗費(fèi)了較多的訓(xùn)練時(shí)間。
　　4、盡管SSVM通過應(yīng)用Sigmoid積分光滑函數(shù)將有約束條件的標(biāo)準(zhǔn)支持向量機(jī)問題轉(zhuǎn)化為無條件約束而且可微的凸優(yōu)化問題，但沒有考慮樣本集中的野點(diǎn)和噪聲對(duì)分類超平面的影響，而且Sigmoid積分光滑函數(shù)在拐點(diǎn)處的精確度沒有多項(xiàng)式光滑損失函數(shù)好。本文通過引用多項(xiàng)式

6、光滑損失函數(shù)和模糊隸屬度組成一種模糊光滑支持向量機(jī).模糊隸屬度考慮每個(gè)樣本點(diǎn)到對(duì)分類超平面的貢獻(xiàn)率，野點(diǎn)和噪聲的貢獻(xiàn)率被賦予一個(gè)很小的值，影響很小。多項(xiàng)式光滑函數(shù)使得無約束可微的優(yōu)化問題可以選擇用BFGS算法和NA算法來求解。實(shí)驗(yàn)結(jié)果表明這些修改在結(jié)果中起到積極的作用。
　　5、針對(duì)標(biāo)準(zhǔn)L2范數(shù)支持向量機(jī)和L1范數(shù)支持向量機(jī)在腫瘤基因分類分析中表現(xiàn)出的優(yōu)缺點(diǎn)，在利用Bhattacharyya距離剔除部分對(duì)分類無關(guān)緊要的特征基因從而

7、得到少數(shù)高相關(guān)至關(guān)重要特征基因的基礎(chǔ)上，一種雙重正則化支持向量機(jī)被應(yīng)用到DNA微陣列分類中。用二次多項(xiàng)式損失函數(shù)把這種有約束的優(yōu)化問題改變?yōu)闊o約束且可微的優(yōu)化問題，再用BFGS算法來求解.通過對(duì)兩種腫瘤特征基因數(shù)據(jù)集實(shí)驗(yàn)分析知，該算法對(duì)腫瘤特征基因分類具有較強(qiáng)的可行性和有效性。
　　總之，支持向量機(jī)理論經(jīng)過十多年的發(fā)展，已經(jīng)積累了比較堅(jiān)實(shí)的基礎(chǔ)，本文主要在現(xiàn)有理論的基礎(chǔ)上探求模糊隸屬度對(duì)幾種分類支持向量機(jī)的影響和怎樣利用數(shù)據(jù)預(yù)處理