改進(jìn)SVM快速訓(xùn)練算法.pdf

1、隨著信息化時(shí)代的到來，信息以幾何級數(shù)的方式增加，人們希望從紛繁冗雜的信息中快速地提取出有用的數(shù)據(jù)。為了更快的找尋出有效的數(shù)據(jù)，就需要借助于更為有效的分類方法。鑒于支持向量機(jī)的分類方法具有推廣能力強(qiáng)、能找到全局最優(yōu)等優(yōu)勢，使它成為學(xué)者們關(guān)注的焦點(diǎn)。在運(yùn)用支持向量機(jī)的過程中，由于數(shù)據(jù)集規(guī)模的不斷增加，模型在訓(xùn)練時(shí)間上仍不能滿足人們的需求，因此本文針對支持向量機(jī)的眾多訓(xùn)練算法中運(yùn)用最為廣泛的序貫最小優(yōu)化算法(SMO)進(jìn)行了一系列的改進(jìn)工作，并

2、提出了一種綜合改進(jìn)策略來彌補(bǔ)訓(xùn)練時(shí)間上的不足。
　　所做的工作內(nèi)容如下:
　　第一，針對標(biāo)準(zhǔn)的SMO算法存在的不足，本文提出一系列的改進(jìn)策略，包括有通過跳過部分非支持向量來縮減訓(xùn)練集規(guī)模，松弛KKT條件來收縮工作集，提前結(jié)束不必要的循環(huán)來提高算法的訓(xùn)練速度等3個(gè)步驟。在保證一定精度的前提下，這些策略能有效的克服訓(xùn)練時(shí)間過長的不足。
　　第二，考慮到訓(xùn)練集可能并不完備，仍會有數(shù)據(jù)不斷加入到訓(xùn)練集中導(dǎo)致訓(xùn)練集規(guī)模的不斷擴(kuò)大

3、，本文提出了一種基于SMO的增量學(xué)習(xí)方法，該方法改進(jìn)了標(biāo)準(zhǔn)SMO算法以適應(yīng)增量學(xué)習(xí)，用KKT條件來判斷新增樣本，并對不滿足條件的樣本與支持向量一同訓(xùn)練，保留了學(xué)習(xí)的歷史性，也體現(xiàn)了學(xué)習(xí)的延續(xù)性，通過增量學(xué)習(xí)來減少訓(xùn)練時(shí)間。
　　第三，將增量學(xué)習(xí)方法與前面的改進(jìn)SMO的策略相結(jié)合，在增量學(xué)習(xí)的模型訓(xùn)練過程中把改進(jìn)SMO的策略加入其中，達(dá)到兩者優(yōu)勢互補(bǔ)，形成了一種綜合優(yōu)化的新策略來更有效的提高算法的訓(xùn)練速度。
　　通過使用UCI