面向多核可伸縮的MapReduce庫(kù)的研究.pdf

1、并行編程是有效利用多核資源的重要方式。然而，傳統(tǒng)的并行編程模型要求程序員手動(dòng)管理諸多的并發(fā)細(xì)節(jié)，使得并行編程變得困難且易錯(cuò)。MapReduce編程模型通過(guò)自動(dòng)管理并發(fā)任務(wù)，簡(jiǎn)化并行編程。Phoenix是MapReduce模型在多核系統(tǒng)上的一種實(shí)現(xiàn)，它證明了應(yīng)用程序通過(guò)使用MapReduce能夠獲得與Pthreads相媲美的性能。但是，Phoenix的可伸縮性較差。
　　本文旨在分析影響Phoenix可伸縮性的關(guān)鍵因素，然后設(shè)計(jì)并實(shí)

2、現(xiàn)一個(gè)具有較好可伸縮性的MapReduce庫(kù)SMR。本文的主要貢獻(xiàn)為:
　　(1)通過(guò)實(shí)驗(yàn)測(cè)試以及使用Linux Perf等性能分析工具，深入分析影響Phoenix可伸縮性與性能的關(guān)鍵因素。Phoenix因Pthreads線程對(duì)共享地址空間的競(jìng)爭(zhēng)導(dǎo)致其較差的可伸縮性，因map和reduce階段間存在同步屏障影響性能。
　　(2)利用課題組已有的新型線程模型Sthread，設(shè)計(jì)并實(shí)現(xiàn)一個(gè)Phoenix接口兼容且具有較好可伸縮性

3、的MapReduce庫(kù)SMR。SMR通過(guò)避免多個(gè)線程對(duì)共享地址空間的競(jìng)爭(zhēng)，提升系統(tǒng)的可伸縮性;通過(guò)讓map和reduce階段間的無(wú)阻塞流水線并行，提升系統(tǒng)的性能。
　　(3)在一臺(tái)32核機(jī)器上使用Phoenix測(cè)試程序?qū)MR和Phoenix進(jìn)行性能評(píng)估，還分析了近年來(lái)Linux內(nèi)核的優(yōu)化對(duì)多核MapReduce庫(kù)可伸縮性與性能的影響。實(shí)驗(yàn)結(jié)果表明，基于SMR運(yùn)行的五個(gè)測(cè)試用例都具有較好的可伸縮性和性能。32核CPU下，SMR相比

4、Phoenix的性能提升為9.0倍～26.7倍。Linux內(nèi)核的優(yōu)化能夠有效提升Phoenix的執(zhí)行效率，而對(duì)于SMR的影響較小。
　　(4)為了高效支持迭代型MapReduce應(yīng)用，本文初步設(shè)計(jì)并實(shí)現(xiàn)了面向多核可伸縮的迭代式MapReduce庫(kù)iSMR。SMR因每次迭代計(jì)算都需要重復(fù)地創(chuàng)建和銷毀環(huán)境，浪費(fèi)大量的時(shí)間，致使其無(wú)法高效地支持迭代型應(yīng)用。iSMR只在處理流程的開(kāi)始和結(jié)束時(shí)創(chuàng)建和銷毀環(huán)境，并且它采用線程池復(fù)用線程，以提升