基于MapReduce的個(gè)性化PageRank算法研究.pdf

1、近年來(lái),隨著計(jì)算機(jī)處理能力的不斷提高,互聯(lián)網(wǎng)技術(shù)取得了飛速發(fā)展,各種基于Web2.0技術(shù)的新興網(wǎng)絡(luò)應(yīng)用的出現(xiàn)使得越來(lái)越多的數(shù)據(jù)被收集和整合在一起,互聯(lián)網(wǎng)中的網(wǎng)頁(yè)數(shù)目激增。在當(dāng)今以信息化為主要標(biāo)志的時(shí)代里,海量的數(shù)據(jù)是社會(huì)寶貴而又重要的財(cái)富?；ヂ?lián)網(wǎng)上的信息量呈現(xiàn)指數(shù)式上升,互聯(lián)網(wǎng)上到處都是垃圾郵件和多余信息,人們必須消耗大量時(shí)間,尋找有用信息。現(xiàn)在大量冗余信息已嚴(yán)重影響人們獲取信息的效率,所以,快捷、方便、高效地獲取所需信息成為越來(lái)越多用

2、戶和運(yùn)營(yíng)商關(guān)心的一個(gè)焦點(diǎn)問(wèn)題。隨著互聯(lián)網(wǎng)的發(fā)展,通過(guò)檢索獲得信息已經(jīng)融入到普通人的日常生活之中了。
　　本文首先對(duì)基于MapReduce的個(gè)性化PageRank算法相關(guān)背景和理論進(jìn)行了闡述,然后分析并總結(jié)了MapReduce框架下的個(gè)性化PageRank算法的研究現(xiàn)狀。在此基礎(chǔ)上,進(jìn)一步對(duì)基于MapReduce的個(gè)性化PageRank算法進(jìn)行了更深一層的研究,著重分析算法中影響性能和效果的瓶頸因素,即迭代次數(shù)和I/O成本并非最優(yōu),

3、進(jìn)而提出了歸并算法。然后對(duì)歸并算法進(jìn)行分析,包括算法的正確性分析、迭代次數(shù)分析和I/O成本分析。通過(guò)分析得出在所有隨機(jī)游走算法中,歸并算法的迭代次數(shù)最優(yōu),I/O成本也比舍入算法和SQRT算法要好。最后,本文使用SougouQ數(shù)據(jù)集,在MapReduce編程模型上實(shí)現(xiàn)個(gè)性化PageRank算法及其改進(jìn)算法,并對(duì)所獲得的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行對(duì)比和分析。通過(guò)對(duì)所需的機(jī)器時(shí)間、時(shí)鐘時(shí)間和準(zhǔn)確性的比較,表明了歸并算法的可行性、合理性。改進(jìn)后的算法不僅具有