基于嵌入式多處理器的輕量級MapReduce模型研究.pdf

1、隨著近年來云計(jì)算的快速發(fā)展以及多核處理器核心數(shù)的快速增長,并行開發(fā)技術(shù)的應(yīng)用也越來越普遍。各種并行開發(fā)技術(shù)如MPI、OpenMP等已經(jīng)非常成熟的應(yīng)用于各個(gè)領(lǐng)域,并且在Google的MapReduce編程模型的帶動(dòng)下出現(xiàn)了很多基于MapReduce模型的開發(fā)框架,如Phoenix、Metis、Hadoop等,但是Phoenix和Metis是基于共享內(nèi)存架構(gòu)實(shí)現(xiàn)的,不能用于分布式集群,而Hadoop集群部署在嵌入式環(huán)境下的執(zhí)行效率不高。因此

2、目前還沒有成熟的基于嵌入式平臺的分布式計(jì)算框架,雖然MPI+OpenMP方法是一個(gè)比較常用的方法,但是節(jié)點(diǎn)內(nèi)使用OpenMP來對并行進(jìn)行控制增加了編程難度,并造成開發(fā)和維護(hù)上的開銷。
　　為了研究Hadoop在嵌入式處理器平臺上的應(yīng)用缺陷,本文首先構(gòu)建了基于嵌入式多處理器的云計(jì)算平臺,在其上實(shí)現(xiàn)了并行圖像處理方法,進(jìn)行了效率分析,進(jìn)而發(fā)現(xiàn)了目前 Hadoop應(yīng)用于嵌入式環(huán)境中的不足。然后對多核平臺下的MapReduce開發(fā)框架Ph

3、oenix和Metis進(jìn)行了研究,并基于Tilera36眾核平臺對其進(jìn)行性能評測,以此來發(fā)現(xiàn)這兩個(gè)框架的優(yōu)點(diǎn)和不足。
　　最后在上面所述的研究的基礎(chǔ)上,重新設(shè)計(jì)了一個(gè)輕量級的面向嵌入式環(huán)境的分布式計(jì)算框架MPI+Phoenix,該框架在設(shè)計(jì)中主要考慮了嵌入式處理器節(jié)點(diǎn)之間的異構(gòu)性,以及如何充分利用節(jié)點(diǎn)內(nèi)部的處理器核心來最大化系統(tǒng)運(yùn)行效率。最后針對該框架進(jìn)行了圖像并行處理的應(yīng)用和測試,并對其進(jìn)行Phoenix標(biāo)準(zhǔn)集測試,從而對該框架