云平臺推薦算法研究.pdf

1、隨著信息技術(shù)的迅猛發(fā)展,信息爆炸使得人們越來越難以從大量內(nèi)容中找到需要的信息。為解決信息過載問題,學(xué)術(shù)界及業(yè)界都進(jìn)行了各種探索。推薦系統(tǒng)便是新興的被發(fā)展用來減輕用戶篩選負(fù)擔(dān)、為用戶提供個(gè)性化內(nèi)容推薦的有力工具。目前,推薦系統(tǒng)已是各種互聯(lián)網(wǎng)應(yīng)用的重要組成部分。另外,隨著數(shù)據(jù)和用戶的不斷增加,推薦系統(tǒng)面臨著分析海量數(shù)據(jù)和生成精確推薦的雙重挑戰(zhàn)。
　　Hadoop是一種主流的云計(jì)算平臺,它為大數(shù)據(jù)的存儲和并行處理提供了便利。其MapRe

2、duce編程框架是大規(guī)模機(jī)器學(xué)習(xí)的重要工具。機(jī)器學(xué)習(xí)是一門對數(shù)據(jù)構(gòu)建概率模型并運(yùn)用模型和統(tǒng)計(jì)學(xué)方法對數(shù)據(jù)進(jìn)行分析與預(yù)測的學(xué)科。這些新興技術(shù)的出現(xiàn)為設(shè)計(jì)推薦系統(tǒng)提供了新的思路。論文以Hadoop為技術(shù)背景,對分布式并行計(jì)算做了研究,同時(shí)運(yùn)用機(jī)器學(xué)習(xí)的有關(guān)理論和算法,圍繞推薦問題展開如下三方面的工作:第一,分析推薦領(lǐng)域的經(jīng)典算法、相關(guān)技術(shù)以及它們在擴(kuò)展性上遇到的困難;第二,提出一種基于線性回歸模型的特征學(xué)習(xí)算法,該算法能從用戶對產(chǎn)品的歷史評

3、分中獲得產(chǎn)品屬性和用戶屬性的特征向量,進(jìn)而用它們預(yù)測未知評分,產(chǎn)生推薦;第三,由于特征學(xué)習(xí)推薦算法需要對每個(gè)產(chǎn)品和用戶單獨(dú)建立高維特征向量,因此隨著產(chǎn)品和用戶的增加,算法將需要訓(xùn)練數(shù)以億計(jì)的參數(shù),本文引入MapReduce技術(shù),在Hadoop平臺上對算法做并行化改進(jìn)。
　　本文提出的特征學(xué)習(xí)算法應(yīng)用在MovieLens數(shù)據(jù)集上時(shí),相比較傳統(tǒng)基于相似度的協(xié)同過濾算法預(yù)測精度更高,表明使用用戶特征向量和內(nèi)容特征向量作線性擬合,是產(chǎn)生評