基于GPU的深度學(xué)習(xí)算法并行化研究.pdf

1、由于深度學(xué)習(xí)在圖像識(shí)別、語音識(shí)別、自然語言處理等領(lǐng)域表現(xiàn)突出，已經(jīng)成為學(xué)術(shù)界和工業(yè)界的研究熱點(diǎn)。神經(jīng)網(wǎng)絡(luò)中通常包含大量可訓(xùn)練的參數(shù)，因此訓(xùn)練出一個(gè)性能良好的神經(jīng)網(wǎng)絡(luò)需要耗費(fèi)大量時(shí)間。另一方面，為了能從海量的數(shù)據(jù)中學(xué)習(xí)到更有價(jià)值的特征，深度神經(jīng)網(wǎng)絡(luò)的層次正不斷加深，進(jìn)一步增加了網(wǎng)絡(luò)訓(xùn)練的耗時(shí)。如何提高網(wǎng)絡(luò)的訓(xùn)練速度、縮短網(wǎng)絡(luò)的訓(xùn)練周期已經(jīng)成為深度學(xué)習(xí)領(lǐng)域的一個(gè)重要研究方向。
　　近年來，圖形處理器GPU的通用計(jì)算技術(shù)得到了迅速的發(fā)展

2、，現(xiàn)在主流GPU的浮點(diǎn)運(yùn)算能力已經(jīng)是主流CPU的十多倍。GPU由于其強(qiáng)大的并行計(jì)算能力、高吞吐量等優(yōu)勢(shì)已經(jīng)成為高性能計(jì)算領(lǐng)域的主流加速器。
　　基于以上分析，對(duì)現(xiàn)有的并行加速算法進(jìn)行了充分研究后，本文借鑒了將卷積運(yùn)算展開成矩陣運(yùn)算的思想，基于CUDA計(jì)算框架實(shí)現(xiàn)了對(duì)深度學(xué)習(xí)算法的并行加速，進(jìn)一步提高了GPU的并行效率。本文的主要工作如下:
　　1)分析了神經(jīng)網(wǎng)絡(luò)的基本思想、網(wǎng)絡(luò)結(jié)構(gòu)，并對(duì)傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)中的反向傳播算法進(jìn)行了

3、詳細(xì)研究。重點(diǎn)研究了卷積神經(jīng)網(wǎng)絡(luò)的稀疏連接和權(quán)值共享的特性，對(duì)卷積神經(jīng)網(wǎng)絡(luò)中的卷積計(jì)算、池化處理以及梯度計(jì)算過程進(jìn)行了詳細(xì)完整地推導(dǎo)，為深度神經(jīng)網(wǎng)絡(luò)的并行化實(shí)現(xiàn)提供理論指導(dǎo)。研究了GPU的硬件性能以及CUDA的線程結(jié)構(gòu)、存儲(chǔ)結(jié)構(gòu)和編程模型。
　　2)采用卷積運(yùn)算展開成矩陣運(yùn)算的思想以及ReLu激活函數(shù)等方法，基于CUDA平臺(tái)，在GPU上設(shè)計(jì)并實(shí)現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)中的卷積層、采樣層、全連接層和激活層的前向計(jì)算、反向傳播以及參數(shù)更新過程

4、，然后給出了神經(jīng)網(wǎng)絡(luò)的搭建步驟以及參數(shù)初始化方法，最后描述了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程。
　　3)利用已經(jīng)實(shí)現(xiàn)的隱藏層分別構(gòu)建出LeNet-5、CIFAR-10和AlexNet這三種規(guī)模不同的神經(jīng)網(wǎng)絡(luò)。然后分別基于MNIST數(shù)據(jù)集、CIFAR-10數(shù)據(jù)集和ImageNet數(shù)據(jù)集在CPU和GPU上對(duì)三種神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并分析網(wǎng)絡(luò)中各網(wǎng)絡(luò)層的前向計(jì)算和反向傳播時(shí)間。三個(gè)神經(jīng)網(wǎng)絡(luò)在準(zhǔn)確率沒有下降的情況下，在GPU上的加速比分別為8.1，33.