基于內(nèi)存的MapReduce系統(tǒng)效率優(yōu)化機(jī)制研究.pdf

1、大數(shù)據(jù)時(shí)代下數(shù)據(jù)的處理與分析已成為一個(gè)十分重要的環(huán)節(jié)。為了滿(mǎn)足數(shù)據(jù)處理高時(shí)效的需求，基于內(nèi)存計(jì)算的大數(shù)據(jù)處理系統(tǒng)成為了新的研究熱點(diǎn)?，F(xiàn)有高性能計(jì)算集群由于內(nèi)存配置相對(duì)CPU配置明顯不足，當(dāng)運(yùn)行在上面的MapReduce系統(tǒng)用來(lái)處理數(shù)據(jù)密集性應(yīng)用，容易導(dǎo)致不必要的數(shù)據(jù)溢出到磁盤(pán)的I/O操作,內(nèi)存效率急需優(yōu)化。當(dāng)處理大規(guī)模的數(shù)據(jù)集時(shí)，分區(qū)數(shù)量過(guò)多，基于哈希的Shuffle機(jī)制會(huì)導(dǎo)致過(guò)多的文件操作和內(nèi)存的不合理使用。但當(dāng)分區(qū)塊過(guò)大，任務(wù)消耗的

2、內(nèi)存量變大，容易導(dǎo)致CPU與內(nèi)存出現(xiàn)協(xié)調(diào)不一致的性能瓶頸問(wèn)題。同時(shí)每個(gè)工作節(jié)點(diǎn)處理的中間數(shù)據(jù)量分配不合理，容易導(dǎo)致負(fù)載不均衡，影響系統(tǒng)性能。
　　適用于大數(shù)據(jù)處理的內(nèi)存效率優(yōu)化系統(tǒng)針對(duì)MapReduce系統(tǒng)在高性能計(jì)算集群中出現(xiàn)的問(wèn)題，結(jié)合內(nèi)存計(jì)算的特性，提出并實(shí)現(xiàn)了內(nèi)存資源高效使用的優(yōu)化方案，用于構(gòu)建快速、高效的大數(shù)據(jù)處理平臺(tái)。首先，優(yōu)化系統(tǒng)設(shè)計(jì)了一種對(duì)象復(fù)用的Shuffle機(jī)制，通過(guò)復(fù)用文件寫(xiě)句柄及其附屬對(duì)象有效解決了分區(qū)數(shù)量

3、過(guò)多時(shí)內(nèi)存申請(qǐng)速度過(guò)快的問(wèn)題，確保內(nèi)存的平穩(wěn)使用；其次，優(yōu)化系統(tǒng)建立了一種基于反饋-采樣-決策的任務(wù)分發(fā)機(jī)制，有效協(xié)調(diào)了分區(qū)塊過(guò)大時(shí)CPU與內(nèi)存的使用關(guān)系，極大地減少了中間數(shù)據(jù)溢出到磁盤(pán)的I/O開(kāi)銷(xiāo)；最后，優(yōu)化系統(tǒng)實(shí)現(xiàn)了一種內(nèi)嵌負(fù)載均衡器的任務(wù)調(diào)度機(jī)制，確保每個(gè)工作節(jié)點(diǎn)處理的中間數(shù)據(jù)量幾乎一致，并且最大化地減少網(wǎng)絡(luò)傳輸數(shù)據(jù)量。
　　優(yōu)化系統(tǒng)提出的內(nèi)存效率優(yōu)化方案集成在Spark系統(tǒng)上，實(shí)現(xiàn)了對(duì)用戶(hù)的透明，可以完全兼容已有的Spar