非理想狀態(tài)下支持向量機(jī)學(xué)習(xí)算法的研究.pdf

1、作為上世紀(jì)九十年代興起的一種新的機(jī)器學(xué)習(xí)技術(shù)，支持向量機(jī)(Support Vector Machine，SVM)在許多領(lǐng)域都取得了成功的應(yīng)用。但它的應(yīng)用其實(shí)大多局限于常見的標(biāo)準(zhǔn)化或者說“理想化”的數(shù)據(jù)分布情況，對于在實(shí)際應(yīng)用中不得不面對的一些數(shù)據(jù)分布不合常規(guī)或者說不“理想”的機(jī)器學(xué)習(xí)問題，比如：不確定性輸入信息學(xué)習(xí)、不平衡數(shù)據(jù)集分類、半監(jiān)督型數(shù)據(jù)學(xué)習(xí)等，傳統(tǒng)型支持向量機(jī)的學(xué)習(xí)性能則表現(xiàn)得不盡人意，有時(shí)甚至根本達(dá)不到人們所期望的學(xué)習(xí)效果，

2、這在很大程度上影響了支持向量機(jī)向更大范圍的推廣和應(yīng)用。針對這些問題，本文就幾種非理想狀態(tài)下的支持向量機(jī)學(xué)習(xí)算法進(jìn)行了研究和探討，給出了較理想的解決方案。 在簡單回顧標(biāo)準(zhǔn)支持向量機(jī)及其數(shù)學(xué)基礎(chǔ)之后，本文重點(diǎn)研究了三類非理想狀態(tài)問題的支持向量機(jī)學(xué)習(xí)算法。 針對某些訓(xùn)練樣本存在輸入信息不確定的問題，通過引入灰色理論中區(qū)間數(shù)及區(qū)間運(yùn)算的概念，結(jié)合支持向量機(jī)的特性，提出了解決不確定信息的灰信息支持向量機(jī)分類及回歸算法。該類算法用區(qū)

3、間數(shù)來表示不確定的輸入信息，利用區(qū)間運(yùn)算來替代原來學(xué)習(xí)函數(shù)中的運(yùn)算，并根據(jù)區(qū)間運(yùn)算結(jié)果來對信息不確定的輸入模式進(jìn)行學(xué)習(xí)。同時(shí)借鑒灰色理論中區(qū)間距離的思想，文中還提出了解決單值分類問題的的灰信息支持向量域分類算法(gray supportvector domain description，GSVDD)。 針對不同類別樣本在數(shù)量分布上存在差異的不平衡數(shù)據(jù)問題，本文研究了不平衡狀態(tài)下實(shí)際分類面和數(shù)據(jù)不平衡度的關(guān)系，通過采用一種新的上抽

4、樣技術(shù)(over-sampling)---SMOTE來糾正實(shí)際分類面形狀偏離理想分類面的現(xiàn)象；同時(shí)還對傳統(tǒng)支持向量機(jī)的懲罰函數(shù)進(jìn)行了調(diào)整，引入了差異性懲罰的思想來糾正傳統(tǒng)算法中的分類面偏移現(xiàn)象。 在SVM的實(shí)際應(yīng)用中由于樣本采集的困難以及采樣成本的代價(jià)過高，在給定的數(shù)據(jù)集中往往存在部分沒有被標(biāo)識(shí)的樣本，這類問題稱之為半監(jiān)督型學(xué)習(xí)(semi-supervised learning)問題。本文針對Joachims.T提出的解決半監(jiān)督

5、型學(xué)習(xí)問題的直推式支持向量機(jī)學(xué)習(xí)算法(Transductive Support VectorMachine，TSVM)存在的諸如訓(xùn)練速度慢、泛化能力弱等一些缺點(diǎn)，提出一種改進(jìn)的直推式支持向量機(jī)分類學(xué)習(xí)算法。該算法通過采用個(gè)體樣本標(biāo)號判斷和交換準(zhǔn)則取代TSVM算法中的成對樣本標(biāo)標(biāo)號交換法，能正確確定無標(biāo)識(shí)樣本中的正標(biāo)識(shí)樣本數(shù)，克服了傳統(tǒng)TSVM算法存在的缺點(diǎn)，增強(qiáng)了TSVM算法學(xué)習(xí)算法的推廣能力。作者還對論文中提出的幾種非理想狀態(tài)支持向量