循環(huán)神經(jīng)網(wǎng)絡(luò)門結(jié)構(gòu)模型研究.pdf

1、隨著科學(xué)技術(shù)的發(fā)展，許多的數(shù)據(jù)需要通過神經(jīng)網(wǎng)絡(luò)進(jìn)行分析和處理。這其中大部分?jǐn)?shù)據(jù)都具有時序或上下文前后的相關(guān)性，例如語音、文本、圖片、視頻等，而循環(huán)神經(jīng)網(wǎng)絡(luò)能夠利用自身特點很好的處理這些具有序列依賴的數(shù)據(jù)。傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)領(lǐng)域的一部分，在處理越來越復(fù)雜的問題的時候仍然存在許多不足，例如如何在深層網(wǎng)絡(luò)訓(xùn)練中仍能保持良好的學(xué)習(xí)效果，又或是如何進(jìn)一步提高循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度和準(zhǔn)確性等。
　　針對上述兩方面問題，本文結(jié)合基于門

2、結(jié)構(gòu)的長短期記憶(LSTM)和門結(jié)構(gòu)循環(huán)單元(GRU)等模型，提出了門結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)的改進(jìn)模型:
　　(1)針對深層神經(jīng)網(wǎng)絡(luò)中收斂較慢和訓(xùn)練效果較差的問題，本文結(jié)合Highway網(wǎng)絡(luò)等用于解決深層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)效率的模型，提出了一種將層間信息進(jìn)行跨層連接的門結(jié)構(gòu)單元(Cross-layer Gated Unit，CGU)，使得不同層之間的數(shù)據(jù)在反向梯度下降的過程中也能像LSTM和GRU那樣對層間數(shù)據(jù)進(jìn)行選擇和遺忘，從而提高深層網(wǎng)絡(luò)

3、下的模型學(xué)習(xí)效果。
　　(2)針對淺層神經(jīng)網(wǎng)絡(luò)如何進(jìn)一步提高模型的訓(xùn)練速度和準(zhǔn)確性的問題，本文結(jié)合了GRU和最小門結(jié)構(gòu)單元(Minimal Gated Unit，MGU)，提出了兩種簡化的門結(jié)構(gòu)單元(Simplified Gated Unit，SGU)，從結(jié)構(gòu)上分為SGU-u和SGU-m。SGU通過減少門結(jié)構(gòu)數(shù)量，改變門結(jié)構(gòu)連接，嘗試減少門結(jié)構(gòu)學(xué)習(xí)過程中的參數(shù)訓(xùn)練量，在保持剩余門結(jié)構(gòu)有效工作的同時，提高模型的訓(xùn)練速度。