全連接神經(jīng)網(wǎng)絡(luò)在FPGA上的實(shí)現(xiàn)與優(yōu)化.pdf

1、隨著電子電路領(lǐng)域的飛速發(fā)展，計(jì)算機(jī)的計(jì)算能力得到了大幅提升，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)再次迎來(lái)了飛速發(fā)展的浪潮。全連接神經(jīng)網(wǎng)絡(luò)能夠處理大規(guī)模的數(shù)據(jù)，提取全部的數(shù)據(jù)特征，實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的分類，因此，仍在圖像領(lǐng)域有重要應(yīng)用。全連接神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程計(jì)算復(fù)雜，計(jì)算量大，領(lǐng)域?qū)＜彝褂糜?jì)算能力出眾的GPU設(shè)備進(jìn)行訓(xùn)練;而訓(xùn)練成功的神經(jīng)網(wǎng)絡(luò)在處理前向過(guò)程時(shí)，計(jì)算相對(duì)簡(jiǎn)單，因此往往采用FPGA搭載神經(jīng)網(wǎng)絡(luò)的前向推斷過(guò)程。雖然FPGA的計(jì)算能力難以趕超同時(shí)代

2、的GPU加速設(shè)備，但其功耗與GPU相比較低，可以計(jì)算全連接神經(jīng)網(wǎng)絡(luò)的前向過(guò)程。本文提出了一套利用OpenCL在FPGA上高效地實(shí)現(xiàn)全連接神經(jīng)網(wǎng)絡(luò)的方案，并利用商用的全連接神經(jīng)網(wǎng)絡(luò)模型，驗(yàn)證了方案的優(yōu)化效果，為FPGA上利用OpenCL實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)提供了參考。
　　本文的主要工作和研究成果主要包括:
　　1.全連接神經(jīng)網(wǎng)絡(luò)算法的實(shí)現(xiàn)與優(yōu)化。傳統(tǒng)的FPGA開(kāi)發(fā)利用較為復(fù)雜的硬件描述語(yǔ)言，為FPGA的廣泛應(yīng)用帶來(lái)了挑戰(zhàn)。而O

3、penCL定義了完整的框架，開(kāi)發(fā)者可以利用OpenCL提供的框架針對(duì)FPGA進(jìn)行編程，縮短了開(kāi)發(fā)周期。本文首先利用OpenCL，在FPGA上實(shí)現(xiàn)了全連接神經(jīng)網(wǎng)絡(luò)模型的各計(jì)算模塊，并分別針對(duì)兩個(gè)計(jì)算熱點(diǎn)提出了算法實(shí)現(xiàn)與優(yōu)化方案:針對(duì)全連接層數(shù)據(jù)規(guī)模大、數(shù)據(jù)復(fù)用率較低、對(duì)帶寬要求高的計(jì)算特點(diǎn)，本文利用合并偏移量的方式規(guī)整計(jì)算任務(wù)、通過(guò)分組劃分的方式發(fā)掘并行性、同時(shí)利用數(shù)據(jù)復(fù)用提升了數(shù)據(jù)使用效率，降低了訪存壓力;針對(duì)較為復(fù)雜的激活函數(shù)（如Si

4、gmoid函數(shù)），本文分析了泰勒級(jí)數(shù)法、查找表法、分段函數(shù)逼近法三種常用的激活函數(shù)實(shí)現(xiàn)方式，并衡量了FPGA上適宜的方法;針對(duì)激活函數(shù)的特征，設(shè)計(jì)了差分查找表的方式實(shí)現(xiàn)激活函數(shù)，在保證精度的前提下將查找表壓縮，節(jié)約了系統(tǒng)中的存儲(chǔ)空間。
　　2.針對(duì)系統(tǒng)特征，提出系統(tǒng)級(jí)的優(yōu)化方案。為最大化地利用FPGA系統(tǒng)內(nèi)的各種資源，本文針對(duì)算法實(shí)現(xiàn)后的基準(zhǔn)系統(tǒng)，根據(jù)硬件特征，分析了資源占用情況和流水線、訪存情況，利用數(shù)據(jù)重排、單指令多數(shù)據(jù)、多流