基于CPU-GPU協(xié)作環(huán)境的快速大規(guī)模SVM訓練.pdf

1、近年來，隨著圖形處理器(Graphic Processor Unit，GPU)的計算能力的增強，其主要用途由圖形渲染過渡到通用計算方面，GPU的定位也逐漸演變?yōu)榫哂斜姾思軜嫷耐ㄓ锰幚砥?。在現(xiàn)今以主核心輔以協(xié)處理器模式的CPU-GPU異構并行系統(tǒng)中，兼顧了CPU與GPU在通用計算方面不同的優(yōu)勢，提供了一種優(yōu)秀的程序設計思路與系統(tǒng)組成方法?；贑PU-GPU異構協(xié)同環(huán)境的集群作為一種有效的提供并行計算資源的途徑，已經得到了科學及工程中計算模

2、擬、海量數(shù)據(jù)處理等研究領域的廣泛應用。
　　支持向量機(Support Vector Machine，SVM)是一種廣泛應用于統(tǒng)計分類以及回歸分析的監(jiān)督學習方法，是當今使用機器學習解決分類問題的重要途徑。支持向量機基于結構風險最小化原理，具有全局優(yōu)化、泛化能力強等優(yōu)點，已成功應用于人臉識別、文本分類、生物信息學等研究領域。SVM的訓練實質上是一個帶有約束條件的凸二次優(yōu)化問題，可以利用原-對偶內點法(Primal-DualInter

3、nal Point Method，PD-IPM)對其進行求解?；趦赛c法的支持向量機在解決小樣本、高維數(shù)據(jù)的模式識別領域具有特有的優(yōu)勢，但是，面對如今龐大的海量數(shù)據(jù)，占用內存大，訓練時間過長的缺點日趨明顯，還有待完善與拓展。
　　針對大規(guī)模SVM訓練存在的內存需求大，運行時間過長的問題，本文提出一種基于CPU-GPU異構協(xié)同環(huán)境下的快速大規(guī)模SVM訓練方法(CGC-SVM)。首先，利用GPU對于計算密集型問題高性能的處理特性，通過

4、使用CUDA語言和NVIDIA提供的CUBLAS庫，對IPM算法中計算密集部分進行了算法優(yōu)化。其次，針對GPU提供數(shù)據(jù)存儲空間不足的問題，提出使用主機端頁鎖定內存進行數(shù)據(jù)存儲并使GPU線程直接訪問的方式，擴大了GPU可訪問存儲容量，使CPU/GPU兩端共享數(shù)據(jù)存儲空間成為可能。再次，為了解決使用頁鎖定內存技術帶來的帶寬與計算性能的損失，提出了基于分塊流水機制的CPU-GPU協(xié)同SYRK實現(xiàn)。最后，利用MPI+Multi-threads+

5、CUDA(MMC)編程模型將實現(xiàn)擴展至集群，進一步降低了針對于大規(guī)模數(shù)據(jù)集的SVM訓練的單一節(jié)點的內存需求。在千兆網(wǎng)連接的四節(jié)點GPU集群系統(tǒng)環(huán)境下，利用不同規(guī)模的數(shù)據(jù)集adult、ijcnn1、covtypes、rcv1、epsilon、url進行實驗。結果表明，CGC-SVM在滿足精度要求的同時，能夠在較大規(guī)模的的數(shù)據(jù)集上獲得最高10倍于單純利用CPU進行SVM訓練的性能，在存儲、計算及可擴展性上均展現(xiàn)了出色的性能。此外，本文所提出