基于CUDA架構(gòu)的深度時空推理網(wǎng)絡(luò).pdf

1、模式識別研究的理論和方法在很多科學(xué)和技術(shù)領(lǐng)域中得到了廣泛的重視,深度學(xué)習(xí)系統(tǒng)作為一種模式識別方法,在過去幾年受到極大地關(guān)注。目前,多核、眾核處理器已經(jīng)成為計算設(shè)備的主流,然而,深度學(xué)習(xí)系統(tǒng)的訓(xùn)練時間較長的缺陷依然沒有改善,原因在于深度學(xué)習(xí)系統(tǒng)計算密度非常高,如何將深度學(xué)習(xí)系統(tǒng)在并行系統(tǒng)中實現(xiàn)成為一個非常必要的研究課題。
　　 由于模式識別涉及到很多復(fù)雜的問題,現(xiàn)有的理論和方法對于解決這些問題還有很多不足之處。深度學(xué)習(xí)系統(tǒng)是一種受

2、生物啟發(fā)的方法,主要用于處理高維信號。眾所周知,高維信號往往可能涉及到跨度很大的時空信息,這就使得用一般方法來表示高維信號成為一個極大地挑戰(zhàn)。深度學(xué)習(xí)系統(tǒng)試圖通過一種分層的架構(gòu)來克服這一挑戰(zhàn),這一架構(gòu)的每一層都是由大量的具有類似功能的節(jié)點組成。這與目前的主流方法不同,目前主流的方法是對高維信號進行預(yù)處理,以減少其維度,但這樣做常會得到一個次優(yōu)的結(jié)果。
　　 本文詳細分析了Tesla GPU圖形與計算架構(gòu)和CUDA統(tǒng)一計算設(shè)備架構(gòu)

3、,針對深度信念網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)以及深度時空推理網(wǎng)絡(luò)這三大典型深度學(xué)習(xí)系統(tǒng)進行了研究與討論,給出了深度時空推理網(wǎng)絡(luò)的數(shù)據(jù)并行形式和CUDA實現(xiàn)方案,在Tesla上實現(xiàn)了基于CUDA架構(gòu)的深度時空推理網(wǎng)絡(luò)的MNIST手寫數(shù)字識別,訓(xùn)練時間只有913秒(約15分鐘),而傳統(tǒng)的深度時空推理網(wǎng)絡(luò)在2.4GHz的CPU上訓(xùn)練需要48小時,速度提高了約192倍,以測試結(jié)果驗證了并行算法的設(shè)計。
　　 本文提出的深度時空推理網(wǎng)絡(luò)的CUDA并行