MapReduce模型的數(shù)據(jù)分配策略研究.pdf

1、自2007年云計(jì)算誕生至今,它已經(jīng)逐漸成為國(guó)內(nèi)外IT界熱門(mén)的概念,得到了廣泛的關(guān)注。在當(dāng)今互聯(lián)網(wǎng)高速發(fā)達(dá)的環(huán)境中,面對(duì)數(shù)據(jù)量的急劇增長(zhǎng),如何快速有效的對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)和計(jì)算成為亟待解決的問(wèn)題,這也是云計(jì)算誕生的原動(dòng)力。但是對(duì)于云計(jì)算而言,它本身只是一種思維方式,雖然有硬件設(shè)施提供必要的環(huán)境,但是能夠支撐云計(jì)算思想的編程模型更加重要。由Google提出的MapReduce并行編程模型,為云計(jì)算海量數(shù)據(jù)的處理提供了軟件支持。
　　H

2、adoop以一種可靠、高效、可伸縮的方式工作,在短短幾年里成為了主流的開(kāi)源云計(jì)算平臺(tái),但是Hadoop仍然是一個(gè)比較年輕的平臺(tái),在很多地方有不夠完善之處,對(duì)其進(jìn)行改進(jìn)是十分必要的。通過(guò)對(duì)Hadoop平臺(tái)下的MapReduce并行編程模型進(jìn)行深入研究,主要針對(duì)MapReduce并行編程模型在Map端輸出的中間數(shù)據(jù)分布不均衡現(xiàn)象提出解決方案,該方案的設(shè)計(jì)思路是用兩個(gè)階段MapReduce作業(yè)對(duì)上述問(wèn)題進(jìn)行處理,第一個(gè)MapReduce階段用