基于Spark的混合協(xié)同過濾推薦系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、如今，隨著互聯(lián)網(wǎng)的開放式發(fā)展，互聯(lián)網(wǎng)中的信息已經(jīng)開始指數(shù)級(jí)的增長(zhǎng)，信息過載的問題愈發(fā)嚴(yán)重。如何在大量的信息中篩選出用戶需要的信息成為當(dāng)今互聯(lián)網(wǎng)急待解決的問題。推薦系統(tǒng)就是在這樣的背景下誕生的，推薦系統(tǒng)能幫助用戶挖掘海量數(shù)據(jù)里深層次潛在的信息，幫助用戶快速獲取需要的內(nèi)容，從而被廣泛應(yīng)用。隨著推薦系統(tǒng)的發(fā)展，其核心的推薦算法也層出不窮。因此本文選擇推薦算法作為研究的重點(diǎn)之一。
　　首先，分析了在推薦算法中比較成熟的協(xié)同過濾。然而協(xié)同過

2、濾技術(shù)中，由于其過度依賴于用戶項(xiàng)目的評(píng)分矩陣，在有效數(shù)據(jù)不足的條件下，由于數(shù)據(jù)稀疏推薦系統(tǒng)的準(zhǔn)確度會(huì)隨之下降。本文為解決協(xié)同過濾技術(shù)中的評(píng)分矩陣的稀疏性問題，采用了基于ALS的矩陣分解算法，將稀疏的評(píng)分矩陣分解為稠密的特征矩陣，從而解決了矩陣稀疏性的問題。另一方面，由于單個(gè)推薦算法在面對(duì)復(fù)雜的應(yīng)用環(huán)境時(shí)，推薦效果往往無法讓人滿意。本文采用結(jié)合了用戶協(xié)同過濾與項(xiàng)目協(xié)同過濾的混合協(xié)同過濾推薦算法，通過動(dòng)態(tài)調(diào)整算法權(quán)重，保證算法的即時(shí)性。通過

3、實(shí)驗(yàn)的比較可以得出，本文設(shè)計(jì)的混合推薦算法對(duì)比傳統(tǒng)的協(xié)同過濾具有較好的準(zhǔn)確度。
　　其次，對(duì)目前混合推薦算法的特點(diǎn)進(jìn)行分析，雖然混合推薦有較好的準(zhǔn)確性，但是算法過程的融合導(dǎo)致算法復(fù)雜度增加。因此本文將推薦算法與 Spark分布式平臺(tái)進(jìn)行了結(jié)合，將推薦算法中復(fù)雜的相似度計(jì)算過程進(jìn)行并行化，提高了算法的計(jì)算效率。通過 MovieLens的數(shù)據(jù)集合實(shí)驗(yàn)證明，混合推薦算與 Spark分布式平臺(tái)具有比較好的并行性能，同時(shí)也凸顯了 Spark