云平臺下推薦系統(tǒng)的研究與改進.pdf

1、在互聯(lián)網(wǎng)高速發(fā)展的今天，每個人的生活都在發(fā)生巨大的變化，世界正在不斷地變“平”。隨著電子商務(wù)，人工智能，虛擬現(xiàn)實等技術(shù)的蓬勃發(fā)展，人們只要通過互聯(lián)網(wǎng)，幾乎可以足不出戶，坐在計算機前做一切事情。這在短短二三十年間從不可能變成了可能。智能推薦技術(shù)自上個世紀(jì)90年代誕生以來，一直在互聯(lián)網(wǎng)眾多領(lǐng)域發(fā)揮著重要作用。例如淘寶網(wǎng)的電子商務(wù)系統(tǒng)、優(yōu)酷土豆等視頻網(wǎng)站的視頻推薦系統(tǒng)、豆瓣音樂等音樂網(wǎng)站的音樂推薦系統(tǒng)等等。由于更加貼近人們的生活，相信推薦系統(tǒng)

2、會變得和搜索引擎一樣，成為互聯(lián)網(wǎng)中不可或缺的基礎(chǔ)性應(yīng)用。然而在推薦系統(tǒng)中，大多數(shù)使用的算法都會面臨兩方面問題，一個是用戶物品評分數(shù)據(jù)的稀疏性問題，另一個是算法的可擴展性問題。
　　隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和信息爆炸，云計算技術(shù)應(yīng)運而生。傳統(tǒng)的串行處理效率低下，其產(chǎn)生的時間開銷甚至讓人無法忍受。因此，如何對海量數(shù)據(jù)進行高效處理成為一個急需解決的問題。Google公司于2004年提出的MapReduce編程模型是一個具有易于編程，良好

3、擴展性和高容錯性等優(yōu)點的并行編程模型。Apache基金會所領(lǐng)導(dǎo)開發(fā)的Hadoop項目是基于MapReduce計算模型的一個開源實現(xiàn)，可用于編寫和運行分布式應(yīng)用處理大規(guī)模數(shù)據(jù)，其已被雅虎、Facebook、百度、淘寶等眾多知名互聯(lián)網(wǎng)公司研究并使用。
　　為了提高推薦的質(zhì)量，以及解決在大規(guī)模數(shù)據(jù)上的推薦問題，本文提出了基于用戶興趣度的方法以緩解數(shù)據(jù)稀疏性的問題，在我們的算法中融合了表現(xiàn)用戶興趣變化的時間因素，通過對目標(biāo)用戶特定的未評分

4、項進行預(yù)測，并將預(yù)測值填充進原始數(shù)據(jù)以形成新的數(shù)據(jù)集，以此來緩解數(shù)據(jù)稀疏性。算法可迭代多次以更好的達到對缺失數(shù)據(jù)的填充目的;另外，針對推薦系統(tǒng)領(lǐng)域經(jīng)典的Netflix數(shù)據(jù)集問題，提出了基于統(tǒng)計和分類的改進預(yù)測方法，為了更好的解決該數(shù)據(jù)集數(shù)據(jù)量大的特點，算法在Hadoop平臺上實現(xiàn)，該方法充分考慮用戶和電影兩方面的信息，并通過實驗證明該方法取得更好的預(yù)測精度，同時在Hadoop集群中機器增多時，算法的運行效率不斷提升，說明其具有比較理想的