基于受限玻爾茲曼機(jī)的深度學(xué)習(xí)模型及其應(yīng)用.pdf

1、深度學(xué)習(xí)是一種新式的多層神經(jīng)網(wǎng)絡(luò)模型，擁有強(qiáng)大的表示能力，用途廣泛，引起了機(jī)器學(xué)習(xí)界普遍的關(guān)注。受限玻爾茲曼機(jī)(Restricted Boltzmann Machines，RBM)是一類基于概率的隨機(jī)神經(jīng)網(wǎng)絡(luò)模型，具備兩層結(jié)構(gòu)，滿足層間全連接，層內(nèi)無連接，可以有效地提取特征，也可以用來預(yù)訓(xùn)練傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)，明顯地提高網(wǎng)絡(luò)的判別能力，如果堆疊多個(gè) RBM形成的深度置信網(wǎng)絡(luò)(Deep Belief Network，DBN)，則能抽取到更

2、抽象的特征。鑒于RBM的優(yōu)勢(shì)，本文基于RBM的基本模型，從公式推導(dǎo)、算法、參數(shù)設(shè)置以及收斂性理論等基本內(nèi)容展開，重點(diǎn)研究的工作包括以下幾個(gè)方面：
　　1.在RBM模型的基礎(chǔ)上，研究了兩種不同的稀疏RBM模型： SpRBM與LogSumRBM，并結(jié)合Polyak Averaging在隨機(jī)梯度下降時(shí)加速收斂的優(yōu)勢(shì)，對(duì)稀疏RBM模型的學(xué)習(xí)算法作了改進(jìn)，從平均重構(gòu)誤差和算法復(fù)雜度方面分析了算法改進(jìn)之后模型求解結(jié)果之間的差異與優(yōu)勢(shì)。

3、　　2.借鑒RBM的兩種評(píng)估策略（重構(gòu)誤差法和退火式重要性采樣法），將其應(yīng)用到 SpRBM與LogSumRBM模型的評(píng)估中，實(shí)驗(yàn)詳細(xì)驗(yàn)證了評(píng)估的可行性與效率，從評(píng)估的角度表明了LogSumRBM模型比SpRBM模型更優(yōu)。
　　3.研究了DBN網(wǎng)絡(luò)的層數(shù)對(duì)模型性能的影響，確定了模型達(dá)到最優(yōu)時(shí)的層數(shù)(4層)，依次構(gòu)建了4層與5層非線性深度網(wǎng)絡(luò)，使用基于RBM的不同深度網(wǎng)絡(luò)模型3DBN、3SpDBN、3LogSumDBN以及4DBN、4