基于協(xié)同過濾視角的受限玻爾茲曼機研究.pdf

1、受限玻爾茲曼機（Restricted Boltzmann Machine，RBM）是一類具有兩層結(jié)構(gòu)的馬爾可夫隨機場。近年來，隨著RBM的快速學(xué)習(xí)算法–對比散度（Contrastive Divergence，CD）的出現(xiàn)，引起了一輪研究RBM、CD算法的理論及應(yīng)用的熱潮。理論方面，RBM的快速學(xué)習(xí)算法促進了機器學(xué)習(xí)界對于隨機近似理論、基于能量的模型、未歸一化的統(tǒng)計模型的研究。應(yīng)用方面，目前RBM已被成功地應(yīng)用于不同的機器學(xué)習(xí)問題，如分類

2、、回歸、降維、高維時間序列建模、稀疏超完備表示、圖像變換、協(xié)同過濾等等。
　　本文試圖從協(xié)同過濾這一問題出發(fā)，建立RBM與協(xié)同過濾經(jīng)典算法的聯(lián)系，揭示RBM的內(nèi)在機理，并且從協(xié)同過濾經(jīng)典算法的改進出發(fā)分析受限玻爾茲曼機的不足，并嘗試提出改進。
　　1.以經(jīng)典的基于用戶的協(xié)同過濾算法為基礎(chǔ)，提出了新的用戶相似度度量，局部用戶相似度及全局用戶相似度，提出了一個基于以上兩個用戶相似度的協(xié)同過濾算法框架。局部用戶相似度可以被視為信息

3、檢索經(jīng)典算法，TF-IDF（Term Frequency–Inverse Document Frequency，詞頻-逆向文檔頻率）權(quán)重的一個變種，在用戶相似度的計算中強調(diào)那些罕見的獨特的特征。全局相似度則可視為譜圖理論的一個應(yīng)用，通過用戶間相似度的傳遞，試圖發(fā)現(xiàn)那些沒有興趣交集的用戶之間的相似度。通過實驗顯示，基于局部用戶相似度及全局用戶相似度的協(xié)同過濾算法，在一定程度上緩解了協(xié)同過濾系統(tǒng)中的數(shù)據(jù)稀疏性問題。
　　2.通過構(gòu)建R

4、BM與基于用戶的協(xié)同過濾算法的聯(lián)系，本文給出了RBM的學(xué)習(xí)算法–對比散度的一個直觀的解釋。由此指出受限玻爾茲曼機的非監(jiān)督學(xué)習(xí)方式學(xué)習(xí)到的特征可能有時并不具有辨別力；此外，非監(jiān)督學(xué)習(xí)往往會產(chǎn)生一個龐大冗雜的模型，從而使得利用RBM學(xué)習(xí)的特征變得效率不高。因此本文提出一種混合的三階受限玻爾茲曼機，同時學(xué)習(xí)類別無關(guān)特征和類別相關(guān)特征，而這個混合的三階受限玻爾茲曼機所定義的分類器只建立在類別相關(guān)的特征之上，從而具有更高的分類效率。類別無關(guān)特征在

5、學(xué)習(xí)過程中對于類別相關(guān)特征引入了一種正則化效應(yīng)，這樣提出的受限玻爾茲曼機不再需要使用權(quán)重衰減（Weight-decay）來控制類別相關(guān)特征的范數(shù)的增長。
　　3.通過分析受限玻爾茲曼機的學(xué)習(xí)算法–對比散度，提出考慮隱單元狀態(tài)的統(tǒng)計相關(guān)性對于促使隱單元學(xué)習(xí)各自不同的特征有重要的作用。提出將隱單元分為大小相同、互不重疊的組，進而在學(xué)習(xí)過程中引入一種基于隱單元激活概率的l1/l2正則化方法來考慮局部隱單元的統(tǒng)計相關(guān)性。這種正則化方法不僅

6、促使大量隱單元組保持在不激活狀態(tài)，即組間稀疏，同時使得組內(nèi)的隱單元也大多保持在不激活狀態(tài)，即組內(nèi)稀疏。因此，本文稱使用這種正則化方法訓(xùn)練的受限玻爾茲曼機為“稀疏組受限玻爾茲曼機”（Sparse Group Restricted Blotzmann Machines，SGRBM）。實驗顯示，使用稀疏組RBM可以學(xué)習(xí)到一個較RBM更稀疏更好的生成模型。此外，我們也進一步應(yīng)用這種正則化方法到深層玻爾茲曼機（Deep Boltzmann Mac