基于Hadoop的分布式支持向量機(jī)的研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，網(wǎng)絡(luò)上的數(shù)據(jù)呈爆炸式增長，如何從海量數(shù)據(jù)中挖掘到有意義的信息將是一個極其重要的研究方向，這使得數(shù)據(jù)挖掘在近幾年內(nèi)得到了飛速發(fā)展。支持向量機(jī)(Support Vector Machine，SVM)是數(shù)據(jù)挖掘領(lǐng)域內(nèi)一種高效可信的分類算法，在解決非線性及高維模式識別問題中有突出優(yōu)勢。但是采用傳統(tǒng)的SVM處理海量數(shù)據(jù)時，其訓(xùn)練時間會大幅度延長，訓(xùn)練速度緩慢，增加了模型的訓(xùn)練成本。因此，有必要對傳統(tǒng)的SVM進(jìn)行改進(jìn)，使其

2、適用于海量數(shù)據(jù)處理，分布式并行化處理正是解決這些問題的有效方法。
　　本文對SVM的并行化模式進(jìn)行探討，從基本思想、訓(xùn)練效果、實現(xiàn)難易度等方面詳細(xì)分析了分組、級聯(lián)、反饋、混合4種支持向量機(jī)的并行策略。經(jīng)過對比，反饋式并行支持向量機(jī)(FeedbackPSVM)作為一種分布式SVM的實現(xiàn)方式，在保證準(zhǔn)確率的情況下，能夠有效的減少訓(xùn)練時間且易于理解和實現(xiàn)。
　　本文結(jié)合Hadoop的分布式存儲以及并行計算的特點，設(shè)計并實現(xiàn)了基于H