基于∑-Δ調(diào)制比特流人工神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)技術(shù)研究.pdf

1、人工神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)一直是研究人工智能，專家系統(tǒng)等方向的重要課題。它是通過(guò)一種大規(guī)模并行分布式系統(tǒng)模擬人工神經(jīng)網(wǎng)絡(luò)的功能，在非結(jié)構(gòu)化信息處理方面比現(xiàn)有的計(jì)算機(jī)系統(tǒng)具有明顯的優(yōu)勢(shì)。但是這種大規(guī)模并行分布式系統(tǒng)網(wǎng)絡(luò)連線復(fù)雜，若采用傳統(tǒng)的多比特?cái)?shù)字電路實(shí)現(xiàn)困難，而本文提出的基于∑-Δ調(diào)制的比特流人工神經(jīng)網(wǎng)絡(luò)（SigmaDelta Bit-stream Neural Network，SDBNN）是解決這一難題的有效途徑。一方面相對(duì)于傳統(tǒng)數(shù)字信

2、號(hào)處理系統(tǒng)，單比特信號(hào)的傳遞特征能夠極大的減少人工神經(jīng)元之間的物理連接，更適合超大規(guī)模集成電路(VLSI)的實(shí)現(xiàn);另一方面∑-Δ技術(shù)中超高的調(diào)制精度也能夠保證神經(jīng)計(jì)算的準(zhǔn)確性。而且SDBNN實(shí)現(xiàn)技術(shù)能夠廣泛應(yīng)用于多種具體人工神經(jīng)網(wǎng)絡(luò)的構(gòu)建中，是目前人工神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)研究領(lǐng)域的熱點(diǎn)之一。
　　本文對(duì)∑-Δ調(diào)制技術(shù)和人工神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)技術(shù)進(jìn)行了深入研究，設(shè)計(jì)了基于∑-Δ調(diào)制的人工神經(jīng)網(wǎng)絡(luò)中的主要運(yùn)算單元（包括加法器，乘法器以及多種

3、激活函數(shù)單元），并以此構(gòu)建了線性/非線性多層前饋網(wǎng)絡(luò)、反饋型Hopfield網(wǎng)絡(luò)以及徑向基函數(shù)網(wǎng)絡(luò)。同時(shí)通過(guò)這些不同結(jié)構(gòu)的網(wǎng)絡(luò)系統(tǒng)，實(shí)現(xiàn)了非線性分類、函數(shù)逼近以及文字識(shí)別等功能。論文主要內(nèi)容包括:
　　(1)為了構(gòu)建基本人工神經(jīng)元，分析了多種基于∑-Δ調(diào)制的加法器結(jié)構(gòu)、乘法器結(jié)構(gòu)，比較了其優(yōu)缺點(diǎn)，優(yōu)化了其中部分運(yùn)算單元，提高了它們的運(yùn)算速度，并降低了硬件資源消耗。同時(shí)進(jìn)一步分析運(yùn)算單元的電路特性，設(shè)計(jì)了基于∑-Δ調(diào)制的L級(jí)平均乘法

4、器芯片。在IC設(shè)計(jì)過(guò)程中，優(yōu)化了其電路結(jié)構(gòu)，運(yùn)用源極耦合技術(shù)設(shè)計(jì)和多級(jí)流水線結(jié)構(gòu)提高了其運(yùn)算速度。流片測(cè)試結(jié)果表明，該乘法器可以工作在4GHz時(shí)鐘頻率下。
　　(2)為了實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)的非線性，提出基于∑-Δ調(diào)制的非線性類Sigmoid激活函數(shù)單元（Sigma-Delta Sigmoid-like Function Activation Unit）的硬件實(shí)現(xiàn)方法。這種實(shí)現(xiàn)方法是通過(guò)不同反饋系數(shù)的限幅放大器的線性組合，完成對(duì)Sig

5、moid函數(shù)的逼近。將此激活函數(shù)單元應(yīng)用至隱含層神經(jīng)元中，可在FPGA上構(gòu)建實(shí)現(xiàn)比特流多層BP網(wǎng)絡(luò)。這種基于∑-Δ調(diào)制的比特流BP網(wǎng)絡(luò)同樣能夠?qū)崿F(xiàn)邏輯異或、非線性區(qū)域分類、以及函數(shù)逼近等功能。同時(shí)還設(shè)計(jì)完成了基于反向傳播算法的在片訓(xùn)練系統(tǒng)，該在片訓(xùn)練系統(tǒng)能夠通過(guò)自我反饋學(xué)習(xí)訓(xùn)練并完成非線性邏輯異或判定。
　　(3)提出基于∑-Δ調(diào)制的類立方根激活函數(shù)單元(Sigma-Delta Cubic-like FunctionActivat

6、ion Unit)的硬件實(shí)現(xiàn)方法，并以此為基礎(chǔ)在FPGA上實(shí)現(xiàn)了比特流非線性BP網(wǎng)絡(luò)。分析立方根激活函數(shù)運(yùn)算模塊的具體原理，以及延時(shí)單元在優(yōu)化計(jì)算精度中所起到的作用。通過(guò)實(shí)例驗(yàn)證得出，以類立方根激活函數(shù)構(gòu)建的多層BP網(wǎng)絡(luò)雖然硬件消耗較大，但是其輸出平面較Sigmoid激活函數(shù)更加陡峭，同樣能夠?qū)崿F(xiàn)非線性判斷。
　　(4)研究了∑-Δ調(diào)制技術(shù)在反饋Hopfield網(wǎng)絡(luò)中的應(yīng)用，并在FPGA上構(gòu)建實(shí)現(xiàn)了此類網(wǎng)絡(luò)系統(tǒng)。運(yùn)用Hebb訓(xùn)練算

7、法和同步擾動(dòng)算法分別實(shí)現(xiàn)普通聯(lián)想記憶和強(qiáng)制記憶功能，并根據(jù)同步擾動(dòng)算法實(shí)現(xiàn)了在片訓(xùn)練系統(tǒng)。實(shí)驗(yàn)結(jié)果表明該在片訓(xùn)練系統(tǒng)訓(xùn)練過(guò)程中權(quán)值收斂，誤差降低，最終能夠?qū)崿F(xiàn)字母間的強(qiáng)制記憶。同時(shí)本文還通過(guò)邏輯綜合和布局布線設(shè)計(jì)了普通12神經(jīng)元Hopfield網(wǎng)絡(luò)芯片。
　　(5)提出了基于∑-Δ調(diào)制的類Gauss函數(shù)計(jì)算單元(Sigma-Delta Gauss-Like FunctionActivation Unit，SDGAU)的結(jié)構(gòu)，并通過(guò)

8、這種結(jié)構(gòu)利用較少的硬件資源實(shí)現(xiàn)了精度較高的運(yùn)算電路。結(jié)合2-范數(shù)運(yùn)算單元在FPGA上設(shè)計(jì)出徑向基函數(shù)模塊和基于∑-Δ調(diào)制的比特流徑向基函數(shù)網(wǎng)絡(luò)。同時(shí)通過(guò)中心固定算法計(jì)算出徑向基函數(shù)網(wǎng)絡(luò)輸出層權(quán)值，并以函數(shù)逼近為實(shí)例驗(yàn)證了網(wǎng)絡(luò)功能。結(jié)果表明徑向基函數(shù)網(wǎng)絡(luò)雖然消耗資源比多層BP網(wǎng)絡(luò)較多，但是它能夠更好的實(shí)現(xiàn)函數(shù)逼近功能。
　　多層面的研究表明將基于∑-Δ調(diào)制的數(shù)字信號(hào)處理技術(shù)和人工神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)技術(shù)相結(jié)合，能夠?qū)崿F(xiàn)多種復(fù)雜人工神經(jīng)網(wǎng)