1.基于模糊訓練數(shù)據(jù)的支持向量機與模糊線性回歸

1、近期科研匯報,報告人： 紀愛兵,匯報內(nèi)容：,第一部分：基于模糊訓練數(shù)據(jù)的支持向量機與模糊線性回歸第二部分：基于模糊Choquet積分的非線性模糊回歸,1.問題提出,支持向量機（SVM）（Support Vector Machine）是Vapnik等人根據(jù)統(tǒng)計學習理論提出的一種新的通用學習方法，支持向量機分為分類型支持向量機和回歸型支持向量機，在分類型支持向量機中，訓練樣本的輸入是實數(shù)值向量，輸出是類別，用表示

2、 。,1.問題提出,考慮到訓練樣本集中的噪音，Chun-fu Lin[4]引入了一種模糊支持向量機，其訓練樣本的輸入仍是實數(shù)值向量，輸出是帶有隸屬度的類別，他用一個隸屬度來表示一個訓練樣本隸屬于正類或負類的程度，但本質(zhì)上來說，它還是Vapnik 意義上的普通支持向量機。,,,1.問題提出,事實上，由于噪音和測量的誤差，訓練樣本數(shù)據(jù)常常是不確定的或是模糊的，對于訓練數(shù)據(jù)是模糊數(shù)據(jù)的情況迄今尚無人研究，因此研究基于模糊訓練數(shù)據(jù)的支持向量機非

3、常有意義。在本文中，我們將首次引入訓練數(shù)據(jù)是模糊數(shù)的分類型支持向量機的理論，主要包括模糊線性可分和模糊近似線性可分的概念以及基于模糊訓練樣本的支持向量機的數(shù)學模型，并給出它的求解方法。,1.問題提出,而普通的支持向量機是它的一個特殊情況。然后將此方法應用于冠心病的鑒別診斷。最后，我們應用基于模糊訓練數(shù)據(jù)的支持向量機理論來研究模糊線性回歸問題，給出了模糊輸入、模糊輸出的模糊線性回歸問題的一種新的解法。,2.準備知識,這里主要給出兩分類型

4、支持向量機的有關知識，對于訓練樣本集： 分別表示正類和負類。如果存在(w,b)使得 （1）則稱訓練樣本是線性可分的。（1）式可以簡化為 （2）分類的決策規(guī)則為：,,,,,,,2.準備知識,為了使得決策規(guī)則具有好的推廣能力，我們應使分類間隔最大，以上

5、機器學習的問題可轉化為一個凸二次規(guī)劃問題：此問題有全局最優(yōu)解，它的對偶問題為：,,2.準備知識,Maximize s.t.當樣本不是線性可分時，我們可以通過一個映射將數(shù)據(jù)映射到一個高維特征空間H，并在高維特征空間上構造分類超平面。,,,2.準備知識,記稱 為核函數(shù) 考慮到一些樣本可能被錯分，我們引進松弛變量 。則此問題可轉化 這

6、里 C為懲罰參數(shù)，它可以平衡最大間隔和錯分樣本。以上二次規(guī)劃 的對偶問題為：,,,,,,2.準備知識,Maximize s.t. (8)此時的決策函數(shù)為：,,,,3 模糊數(shù)和可能性測度,定義3.1 設 X為非空集，P(X) 為X的冪集, 映射P

7、os: P(X) [0,1], 如果滿足：(1) Pos( )=0 (2) Pos(X)=1 (3) Pos( )= Pos( )則稱Pos為可能性測度。定義3.2 設 為模糊數(shù)，它的隸屬函數(shù)為：,,,,,,,,,3 模糊數(shù)和可能性測度,(其中 為實數(shù))，則稱為三角形模糊數(shù)，記為 (

8、 )。定義 3.3 設 為模糊數(shù),模糊事件的可能性測度定義為： 特殊地, 當b 為實數(shù)時，模糊事件的可能性測度為： 。類似地,

9、 。,,,,,,,,,,3 模糊數(shù)和可能性測度,如果 均為模糊數(shù)，則稱 為n維模糊數(shù)向量，以 表示n維模糊數(shù)向量的全體。特別地，如果 均為三角形模糊數(shù)，則 稱為n維三角形模糊數(shù)向量。以 表示n維三角形模糊數(shù)向

10、量的全體。 由Zadeh擴展原則，對于n元函數(shù)f: 和模糊數(shù)向量 ， 為模糊數(shù)，其隸屬函數(shù)為：,,,,,,,,,,,3 模糊數(shù)和可能性測度,特別地，當 為模糊數(shù)時，類似可定義 且易得：定理3.1 設 ，

11、 為三角形模糊數(shù), 為實數(shù)，則 (1) ; (2),,,,,,,,3 模糊數(shù)和可能性測度,定理 3.2 設 為三角形模糊數(shù)，則定理 3.3 設 為三角形模糊數(shù)，則對給定的置信水平 , , 等價于 :

12、 。,,,,,,4. 基于模糊訓練數(shù)據(jù)的分類型支持向量機,考慮模糊訓練樣本S= , 其中, , , 當 稱為正類；當 則稱

13、 為負類，基于模糊訓練樣本集 S= 的分類就是尋找一個決策函數(shù) ，使得正類和負類能以最低的分類錯誤被分開并且具有好的推廣能力。4.1 基于模糊線性可分訓練樣本集的支持向量機,,,,,,,,,4. 基于模糊訓練數(shù)據(jù)的分類型支持向量機,定義4.1 對模糊訓練樣本集S= , 如果對給定的置信水

14、平 ，存在 ，使得 (9)則稱模糊訓練樣本集S= 是關于置信水平 模糊線性可分的。定理 4.1 如果模糊訓練樣本集S=

15、 是關于置信水平 為模糊線性可分的，,,,,,,,,,,4. 基于模糊訓練數(shù)據(jù)的分類型支持向量機,其中 且 為三角形模糊數(shù)，則式（9）等價于

16、 (10)(證明略） 基于模糊現(xiàn)行可分訓練樣本集的支持向量機就是求解以下模糊機會約束規(guī)劃： s.t.

17、 (11),,,,,,,,4. 基于模糊訓練數(shù)據(jù)的分類型支持向量機,我們可以利用混合智能算法[17，18]，求解模糊機會約束規(guī)劃（11）。由定理4.1模糊機會約束規(guī)劃（11）可以轉化為以下經(jīng)典的凸二次規(guī)劃問題： s.t .

18、 (12) （12）的對偶問題為： Maximize (13),,,,4. 基于模糊訓練數(shù)據(jù)的分類型支持向量機,s.t.這里 , 其中 為規(guī)劃 (13)的解4.2.

19、 基于近似模糊線性可分訓練樣本集的支持向量機 考慮到可能有一些樣本被錯分（按置信水平 ，不滿足（9）式），我們引進松弛變量 ，其中 。對模糊訓練樣本集S= ，如果對給定的置信水平 ，如果存在 , 使得 ，則稱模糊訓練樣本集 S關于

20、置信水平 為近似模糊線性可分的。,,,,,,,,,,,,,,4. 基于模糊訓練數(shù)據(jù)的分類型支持向量機,為了求 ，我們可以用混合智能算法求解下面模糊機會約束規(guī)劃：s.t. (14)類似地，利用定理4.1，以上模糊機會約束規(guī)劃可轉化為下面的經(jīng)典凸二次規(guī)劃問題：,,,,4. 基于模糊訓練數(shù)據(jù)的分

21、類型支持向量機,s.t . (15) (其中C為懲罰參數(shù))。規(guī)劃（15）的對偶問題為： Maximize s. t. (16),,,,,4. 基于模糊訓練數(shù)據(jù)的分

22、類型支持向量機,可以利用優(yōu)化軟件如Lingo來求解規(guī)劃問題（15）（16），得到 。 則對于未知類別的樣本，其決策規(guī)則為：若對 給定的置信水平 , 如果 , 則 為正類 ；如果 , 則

23、 為負類。應用實例 下面，我們將應用以上基于模糊訓練樣本的兩分類支持向量機的理論于冠心病的鑒別診斷。我們收集了34名患者的資料，以24名患者的資料作為訓練樣本，其中一半為正常人，表示為 =1，另一半為冠心病患者，表示為 =-1，數(shù)據(jù)見表1，其中 舒張期血壓， 表示血漿膽固醇含量，且 和 為三角形模糊數(shù)。,,,,,,,,,,,,,,,,,,4. 基于

24、模糊訓練數(shù)據(jù)的分類型支持向量機,表1：冠心病人和正常人舒張期血壓和血漿膽固醇含量數(shù)據(jù),4. 基于模糊訓練數(shù)據(jù)的分類型支持向量機,取參數(shù)C=0.1, ，利用以上數(shù)據(jù)來訓練以上規(guī)劃（15）或（16），可得解 , b=-6.962587, 則可以得到冠心病的鑒別診斷規(guī)則：對給定的置信水平 , 如果

25、 , 則 為冠心病患者； 如果 ,則 為正常人。利用此鑒別診斷規(guī)則來擬合表1種的數(shù)據(jù)，只有三例被錯分，診斷正確率為87.5%。用另外10例患者的資料作為測試樣本，經(jīng)測試正確率為90%。由此充分說明基于模糊訓練樣本的支持向量機具有好的擬合效果和高的預測精度。,,,,,,,,5. 基于模糊

26、支持向量機的模糊線性回歸,設輸入 為模糊數(shù)向量, 輸出為模糊數(shù) 。 為簡單起見，我們設 ) 和 均為三角型模糊數(shù)。所謂模糊線性回歸就是確定關系: 對于模糊訓練集S= , 其中 ,

27、 。對給定的 , 令 為正類集， 為負類集。,,,,,,,,,,,,5. 基于模糊支持向量機的模糊線性回歸,以 為模糊訓練集，則模糊線性回歸問題可以轉化為基于模糊訓練集的支持向量機的分類問題。 如果關于置信水平 為模糊近似線性可分的, 則

28、由上面基于模糊訓練集的支持向量機分類問題的理論，我們只需解下面的模糊機會約束規(guī)劃： s.t. （19） 假定 , ,

29、 , 則與規(guī)劃(19)等價的經(jīng)典的二次規(guī)劃為：,,,,,,,,5. 基于模糊支持向量機的模糊線性回歸,s.t． （20） 用Lingo 80 求解以上二次規(guī)劃得 。

30、 由定理3.4， 規(guī)劃（19）的約束條件等價于：,,,,,5. 基于模糊支持向量機的模糊線性回歸,則在置信水平 下，得到關系: 或 則應用實例 利用文獻[28]中的數(shù)據(jù)作為模糊訓練集，見表2，當參數(shù)C=0.1, , 求解二次規(guī)劃（20），可得模糊線性回歸

31、關系：且當 ， 即 , 為經(jīng)典實數(shù)時，恰好與普通的線性回歸相一致。,,,,,,,,,,,5. 基于模糊支持向量機的模糊線性回歸,表2,6. 結論,本文討論了訓練數(shù)據(jù)為模糊數(shù)的支持向量機分類理論，并且給出了具體的求解方法，它極大擴展了普通支持向量機的理論和應用范

32、圍，V.N. Vapnik的支持向量機是它的一個特殊形式。并且，我們應用基于模糊訓練數(shù)據(jù)的支持向量機分類理論，通過將模糊線性回歸問題轉化為基于模糊訓練數(shù)據(jù)的支持向量機分類問題 給出了一種求解模糊線性回歸的新方法。進一步我們將研究非可分模糊訓練數(shù)據(jù)的支持向量機理論。,References,[1] V.N. Vapnik, The Nature of Statistical Learning Theory,Springer-Verlag,

33、New York, 1995.[2] V.N. Vapnik, Statistical Learning Theory, Wiley, New York,1998.[3] C. Cortes, V.N. Vapnik, Support vector networks, Mach.Learn. 20 (3) (1995) 273–297.[4] Chun-fu Lin, Sheng-de Wang ，Training algorit

34、hms for fuzzy support vector machines with noisy data，Pattern Recognition Letters 25 (2004) 1647–1656[5] J.M. Keller, D.J. Hunt, Incorporating fuzzy membershipfunctions into the perceptron algorithm, IEEE Trans. PAMI7 (

35、1985) 693–699.[6] J.-H. Chen, C.-S. Chen, Fuzzy kernel perceptron, IEEE Trans.Neural Networks 13 (6) (2002) 1364–1373.[7] W. Shitong, Fuzzy Systems and Fuzzy Neural Networks and Their Programming, Press of Shanghai S

36、cience and technologies, Shanghai, 1998 (1st ed.), 2000 (2nd ed.).[8] C. Angulo, X. Parra, A. Catala, K-SVCR: a support vector machine for multiclass classification, J. Neurocomput., in press (download the paper from h

37、ttp://www.computerscienceWeb.com).[9] D. Tsujinishi, S. Abe, Fuzzy least square SVM for multiclass problems, J. Neural Networks 16 (2003) 785–792.[10] Tomonori Kikuchi, Shigeo Abe, Comparison between error correcting

38、output codes and fuzzy support vector machines,Pattern Recognition Letters 26 (2005) 1937–1945[11] Daisuke Tsujinishi,Shigeo Abe, Fuzzy least squares support vector machines for multiclass problems, Neural Networks 16(2

39、003)785-792[12] Dug Hun Hong,Changha Hwang, Support vector fuzzy regression machines, Fuzzy Sets and Syetems 138(2003) 271-281,References,[13] Jin-TsongJeng,Chen-Chia Chuang,Shun-FengSu, Support vector interval regressi

40、on networks for interval regression analysis, Fuzzy Sets and Systems 138 (2003) 283–300[14] Zadeh LA. Fuzzy sets as a basis for a theory of possibility. Fuzzy Sets and Systems 1978;1:3–28.[15] Dubois D, Prade H. Possib

41、ility theory. New York: Plenum Press; 1988.[16] Klir GJ. On fuzzy-set interpretation of possibility theory. Fuzzy Sets andSystems 1999;108:263–373.[17] Liu B. Uncertain programming. New York: Wiley; 1999.[18] Liu B. T

42、heory and practice of uncertain programming. Heidelberg: Physica; 2002.[19] Liu B. Minimax chance constrained programming models for fuzzy decision systems. Information Sciences 1998;112:25–38.[20] Liu B. Dependent-cha

43、nce programming in fuzzy environments. Fuzzy Sets and Systems 2000;109(1):97–106.[21] Liu B. Fuzzy random chance-constrained programming. IEEE Transactions on Fuzzy Systems 2001;9(5):713–20.[22] Liu B. Fuzzy random dep

44、endent-chance programming. IEEE Transactions on Fuzzy Systems 2001;9(5):721–6.[23] Liu YK, Liu B. Fuzzy random variable: a scalar expectedvalue operator. Fuzzy Optimization and Decision Making 2003;2(2):143–60.[24] P.

45、Diamond, Fuzzy least squares, Inform. Sci. 46 (1988) [25] H. Tanaka, Fuzzy data analysis by possibilistic linear models, Fuzzy Sets and Systems 24(1987) [26] H. Tanaka, S. Uejima, K. Asia, Linear regression analysis wi

46、th fuzzy model, IEEE Trans.Systems, Man Cybernet. [27] M. Sakawa, H. Yano, Multiobjective fuzzy linear regression analysis for fuzzy input–output data, Fuzzy Sets and Systems 47 (1992) [28] HSIEN-CHUNG Wu,Linear Regres

47、sion Analysis for Fuzzy Input and Output DataUsing the Extension Principle, Computers and Mathematics with Applications 45 (2003) [29] Scholkoph B,Smola A J,Bartlett P L, New support vector Algorithms, Neural Computati

48、on,2000,12（5）,本論文需進一步考慮的工作,本文只是基于模糊訓練數(shù)據(jù)的線性可分或近似線性可分的情況下的支持向量機理論。當模糊訓練數(shù)據(jù)集是非線性可分的情況下，是否可通過模糊核函數(shù)（經(jīng)典核函數(shù)通過Zadeh擴展原理得到），映射到高維模糊模糊特征空間，從而得到基于模糊訓練數(shù)據(jù)的一般支持向量機理論？在本文中，進一步可考慮分類是模糊類或類與類之間界限不分明的基于模糊訓練數(shù)據(jù)的支持向量機理論將文中的可能性測度Pos換為可信性測度是否會