MapReduce模型在Hadoop中的性能優(yōu)化應(yīng)用研究.pdf

1、互聯(lián)網(wǎng)的快速發(fā)展推動(dòng)著數(shù)據(jù)信息呈現(xiàn)著幾何式增長(zhǎng)，數(shù)據(jù)占用空間從 GB發(fā)展到 TB甚至PB，飛速增長(zhǎng)的數(shù)據(jù)規(guī)模標(biāo)識(shí)著人類(lèi)進(jìn)入了大數(shù)據(jù)時(shí)代，大數(shù)據(jù)給人類(lèi)帶來(lái)的沖擊不容小覷，用戶從爆炸式數(shù)據(jù)中挖掘出有效信息的效率反而降低，此時(shí)，通過(guò)對(duì)用戶數(shù)據(jù)進(jìn)行相似度計(jì)算能夠在一定程度上解決信息超載問(wèn)題，從而提取出相對(duì)熱門(mén)并有用的數(shù)據(jù)信息。
　　Hadoop是當(dāng)前應(yīng)用最為廣泛的云計(jì)算開(kāi)源平臺(tái)，MapReduce并行編程模型是云計(jì)算的關(guān)鍵技術(shù)之一。但在實(shí)

2、際運(yùn)用過(guò)程中，MapReduce模型計(jì)算過(guò)程中存在臨時(shí)數(shù)據(jù)量大，Reduce任務(wù)分配不均會(huì)導(dǎo)致系統(tǒng)資源率低等問(wèn)題。
　　本文針對(duì) MapReduce模型的應(yīng)用，給出了一種利用 MapReduce編程模型的分布式計(jì)算能力來(lái)實(shí)現(xiàn)海量數(shù)據(jù)的相似度計(jì)算方法，從 I/O操作和負(fù)載均衡策略兩個(gè)方面改進(jìn)了MapReduce編程模型。通過(guò)在Map階段后使用Stripe算法和SStripe算法完成對(duì)中間結(jié)果的本地聚集工作，以有效地緩解大量 I/O操