激活函數(shù)導(dǎo)向的RNN算法優(yōu)化.pdf

1、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）是人工神經(jīng)網(wǎng)絡(luò)的一個(gè)重要分支。它在隱含層引入了反饋機(jī)制，實(shí)現(xiàn)對(duì)序列數(shù)據(jù)的有效處理。循環(huán)神經(jīng)網(wǎng)絡(luò)具有存儲(chǔ)和處理上下文信息的強(qiáng)大能力，成為語音識(shí)別、自然語言處理、計(jì)算機(jī)視覺等領(lǐng)域的研究熱點(diǎn)之一。一方面，循環(huán)神經(jīng)網(wǎng)絡(luò)普遍采用S型函數(shù)作為激活函數(shù)，而S型函數(shù)的飽和區(qū)限制了RNN訓(xùn)練收斂速度，因此對(duì)激活函數(shù)的優(yōu)化研究成為研究熱點(diǎn)。另一方面，循環(huán)神經(jīng)網(wǎng)絡(luò)主要采用軟件實(shí)現(xiàn)的方式

2、，算法的硬件加速研究具有重要意義。
　　本文針對(duì)上述問題和研究背景，在前人的研究基礎(chǔ)上做了如下工作：循環(huán)神經(jīng)網(wǎng)絡(luò)的理論總結(jié)研究。長短時(shí)記憶單元((Long Short-Term Memory,LSTM)特有的門結(jié)構(gòu)解決了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)時(shí)間維度的梯度消失問題，成為RNN結(jié)構(gòu)的重要組成部分。分析了LSTM型RNN的訓(xùn)練過程，包括前向傳播過程和反向傳播過程。在反向傳播過程中，激活函數(shù)及其導(dǎo)數(shù)直接影響網(wǎng)絡(luò)訓(xùn)練的收斂速度。從激活函數(shù)方面著

3、手對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)算法進(jìn)行優(yōu)化。傳統(tǒng)的S型激活函數(shù)存在飽和區(qū)導(dǎo)致收斂速度慢，前人提出的修正線性單元避免了飽和區(qū)梯度消失問題，但是帶來了梯度爆炸問題。利用S型函數(shù)系數(shù)不同，非飽和區(qū)范圍不同，進(jìn)一步分析了不同系數(shù)之間的訓(xùn)練收斂速度的大小關(guān)系。通過實(shí)驗(yàn)證明了擴(kuò)展非飽和區(qū)的優(yōu)化方法有效地加快了訓(xùn)練收斂速度。從激活函數(shù)的硬件實(shí)現(xiàn)著手對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)算法進(jìn)行優(yōu)化，激活函數(shù)的硬件實(shí)現(xiàn)難度較大，具有更重要的研究意義。優(yōu)化誤差的研究，引入了擬合直線誤差修正項(xiàng)