基于正則化的深度學習模型研究.pdf

1、受人體大腦中深度體系的啟發(fā),幾十年來人工神經網絡研究者試圖訓練一個深度多層人工神經網絡,都以失敗而告終。2006年深度體系方面的研究有了突破性進展:多倫多大學的Hinton教授和他的同事提出了深度信念網絡模型,這個模型通過使用自底向上的基于貪婪策略的非監(jiān)督預處理,使得深度體系的訓練在一定程度上避免陷入局部極值。自此之后,各種基于自動編碼和受限制的玻爾茲曼機的深度體系模型相繼被提出。這些深度體系模型已經成功應用于數字識別、語音識別、文本分

2、類、信息檢索等眾多領域。因為RBM(受限制的玻爾茲曼機)模型生成的數據表達比原始數據要好,現階段大部分深度體系的預處理都是用RBM模型實現的。然而,最近一些學者將RBM作為一個獨立的分類器進行了分析,并且通過將生成型RBM和判別型RBM結合S實現半監(jiān)督學習算法。自此,RBM作為一個獨立的模型已經成功應用于眾多領域。
　　用于分類的RBM模型可以看成擁有輸入層、隱藏層和輸出層三層結構的神經網絡。用于分類的RBM模型的訓練過程可以看作

3、數據降維的過程,高維數據映射到低維數據過程中,數據之間的內蘊結構有沒有保持不變,用于分類的RBM并不能保證這一點,基于監(jiān)督學習的平滑性假設理論,我們引入正則項,讓降維過程能更加平滑。最近,用半監(jiān)督學習解決標記數據過少問題成為一個研究熱點,本文通過將RBM模型與EM算法結合來解決這個問題,同時,將統(tǒng)計學習和流行學習相結合實現RBM的半監(jiān)督學習,也就是通過把流行學習誘導出來的目標函數作為一個正則項添加到RBM的優(yōu)化準則中,形成一個新的模型: