基于Storm的實時推薦系統(tǒng)研究與設計.pdf

1、伴隨著移動互聯(lián)網(wǎng)，電子商務以及物聯(lián)網(wǎng)的爆發(fā)式發(fā)展，產(chǎn)生了海量的數(shù)據(jù)，產(chǎn)生了信息超載（infoamation overload）問題。當前，此類問題的解決方法之一是使用推薦系統(tǒng)。傳統(tǒng)的推薦系統(tǒng)大多基于非實時的Hadoop處理框架，以“批”方式進行處理，無法滿足數(shù)據(jù)的實時處理要求。而Storm對數(shù)據(jù)以“流”方式進行處理，基于內(nèi)存進行運算，可以保證數(shù)據(jù)信息被快速處理，且實時更新并寫入數(shù)據(jù)庫。本文基于實時的、分布式的流數(shù)據(jù)處理框架Storm進行

2、推薦系統(tǒng)相關研究，進行了以下工作:
　　第一:對Storm框架進行學習。了解消息可靠處理機制(ACK);掌握了核心組件Spout、Bolt的功能以及實現(xiàn)方法;能夠設計Topology結構，基于Storm Trident的高級抽象進行開發(fā)。
　　第二:基于Storm的推薦系統(tǒng)常規(guī)采用基于SVD的k-means協(xié)同過濾算法。SVD先將評分矩陣中的缺失值補全，然后將其分解成3個低階矩陣，最后用計算得到的用戶預測評分來更新評分矩陣的

3、缺失項，在矩陣項達到數(shù)百萬的情況下，上述過程時間消耗代價巨大。為了進一步提升計算效率，本文提出了基于改進SVD的k-means協(xié)同過濾算法，改進SVD引入損失函數(shù)的概念，建立均方差最小化函數(shù)，通過梯度下降法迭代對其進行優(yōu)化求解，簡化了矩陣分解運算。在MovieLens-10m數(shù)據(jù)集上進行實驗，與傳統(tǒng)SVD算法相比，本文提出算法在推薦時間效率方面得到了提升。
　　第三:實現(xiàn)了基于Storm的實時推薦系統(tǒng)，首先，增加了Flume日志采