集群引擎MapReduce的中間數(shù)據(jù)存貯與傳輸優(yōu)化的研究與實(shí)現(xiàn).pdf

1、集群是一種計(jì)算機(jī)系統(tǒng),通過一組松散集成的計(jì)算機(jī)軟件和硬件連接起來高度緊密地協(xié)作完成計(jì)算工作。MapReduce是Google提出的一個軟件架構(gòu),用于大規(guī)模數(shù)據(jù)處理的分布式計(jì)算模型。MapReduce運(yùn)行在集群上,能夠完成任務(wù)的自動分發(fā)與并行運(yùn)算,利用集群強(qiáng)大的性能來完成計(jì)算工作。
　　本論文主要對Platform公司開發(fā)的集群引擎MapReduce的中間數(shù)據(jù)在各個節(jié)點(diǎn)間的共享問題進(jìn)行了研究,提出了中間數(shù)據(jù)的存貯與傳輸優(yōu)化的解決方案

2、。在這個解決方案中,實(shí)現(xiàn)了中間數(shù)據(jù)存貯功能和中間數(shù)據(jù)傳輸優(yōu)化功能來提升系統(tǒng)性能。在保證數(shù)據(jù)完整性的情況下,解決了大規(guī)模的中間數(shù)據(jù)在各個節(jié)點(diǎn)間進(jìn)行共享和傳輸時,每個節(jié)點(diǎn)由于大量的磁盤讀寫和多線程并發(fā)讀寫等導(dǎo)致整個作業(yè)處理速度偏慢的問題,從而提高了整個作業(yè)的處理速度。
　　本論文針對中間數(shù)據(jù)在不同任務(wù)端的處理優(yōu)先級和方式的不同,由Map任務(wù)中間數(shù)據(jù)存貯模塊和Reduce任務(wù)中間數(shù)據(jù)存貯模塊來負(fù)責(zé)每個節(jié)點(diǎn)上的不同任務(wù)的中間數(shù)據(jù)存貯。而中

3、間數(shù)據(jù)傳輸優(yōu)化模塊則優(yōu)化了中間數(shù)據(jù)在各個節(jié)點(diǎn)間的傳輸速度。Map任務(wù)和Reduce任務(wù)的中間數(shù)據(jù)存貯模塊使用了相同的原理,但是實(shí)現(xiàn)方式不同。存貯中間數(shù)據(jù)時都是通過管理磁盤I/O來達(dá)到優(yōu)化磁盤I/O性能的目的。其實(shí)現(xiàn)思想都是對文件進(jìn)行內(nèi)存映射的方式將中間數(shù)據(jù)存儲在內(nèi)存中,并維護(hù)這些內(nèi)存中的中間數(shù)據(jù)。中間數(shù)據(jù)傳輸優(yōu)化模塊則是在中間數(shù)據(jù)存貯模塊的基礎(chǔ)上,能夠更快的將Map端內(nèi)存中的中間數(shù)據(jù)推送至Reduce端,并顯著減少網(wǎng)絡(luò)連接數(shù)。從而加快整