基于類間差異性的多類多核學(xué)習(xí)研究.pdf

1、近年來，多核學(xué)習(xí)逐漸成為機器學(xué)習(xí)領(lǐng)域的研究熱點之一，其通過多個候選核函數(shù)的組合來替代單個核函數(shù)，巧妙地將核函數(shù)的選擇問題轉(zhuǎn)化為核組合系數(shù)的學(xué)習(xí)問題，同時增強了核方法對問題的刻畫能力，有效地提升了核模型的泛化性能。但是，現(xiàn)有的大多數(shù)多核學(xué)習(xí)方法都是基于兩類分類問題而設(shè)計的，而現(xiàn)實世界中的許多學(xué)習(xí)問題往往歸結(jié)為多類分類問題。因此，將多核學(xué)習(xí)從兩類分類問題推廣到多類分類問題是很有必要的。
　　現(xiàn)有的多類多核學(xué)習(xí)方法，大多是利用一對一或一

2、對多的策略來處理多類分類問題，并且為所有類學(xué)習(xí)出一個相同的核組合。然而，現(xiàn)實問題數(shù)據(jù)往往存在類間差異性，即每一個類的數(shù)據(jù)可能服從不同的分布或者其特征空間不一致。如果僅為所有類學(xué)習(xí)一個相同的核組合，那么所有的數(shù)據(jù)只能通過同一個分布進行映射或映射到同一個特征空間，這么做顯然是不合理的。針對這一問題，我們在多核學(xué)習(xí)框架中引入了類間差異性，即為每一個類學(xué)習(xí)一個不同的核組合。從這一思路出發(fā)，我們進一步提出了基于類間差異性的稀疏多核學(xué)習(xí)方法LMKL

3、DC和基于類間差異性的多類大間隔稀疏多核學(xué)習(xí)方法M3_LMKLDC。
　　本文的工作主要體現(xiàn)在以下方面:
　　(1)分析了在多核學(xué)習(xí)框架中考慮類間差異性的必要性。考慮到現(xiàn)實問題中的數(shù)據(jù)往往來自不同的數(shù)據(jù)源，每一類的數(shù)據(jù)可能會服從不同的分布;而現(xiàn)有的多核學(xué)習(xí)方法大都是為所有類學(xué)習(xí)一個相同的核組合，因此所有類別的數(shù)據(jù)只能一起映射到同一個特征空間。這顯然會導(dǎo)致模型不能很好地刻畫多個類別之間的差異性，也約束了模型的表達能力，從而降低

4、了模型的泛化性能。
　　(2)提出了基于類間差異性的稀疏多核學(xué)習(xí)方法LMKLDC。LMKLDC在多核學(xué)習(xí)框架中引入了類間差異性，旨在為每一個類學(xué)習(xí)不同的核組合;同時,通過約束核組合系數(shù)lp-范數(shù)(0＜p≤1)形式的正則化項來提高模型的稀疏性，降低了模型的復(fù)雜度。針對所提出的模型，進一步設(shè)計出了一種Two-stage的優(yōu)化算法。
　　(3)提出了基于類間差異性的多類大間隔多核學(xué)習(xí)方法M3_LMKLDC。M3_LMKLDC采用更