MapReduce的性能分析與優(yōu)化.pdf

1、隨著互聯(lián)網(wǎng)的興起與日益激增的數(shù)據(jù)處理需求,云計算以其低廉的成本,強大的運算存儲能力與高可靠性等眾多優(yōu)良特性逐漸受到各大IT企業(yè)的重視。MapReduce是云架構(gòu)的編程模型,用以在集群上分布式地執(zhí)行用戶提交的作業(yè),其作業(yè)調(diào)度與執(zhí)行性能成為使用者關注的重點。
　　本文對Hadoop平臺MapReduce編程模型的多個優(yōu)化方向進行了細致地研究。在對目前國內(nèi)外關于MapReduce編程模型的性能優(yōu)化技術進行分析的基礎上,首先給出了多用戶組

2、使用環(huán)境下,支持作業(yè)類型劃分的多隊列調(diào)度策略。調(diào)度器通過劃分作業(yè)等待隊列和作業(yè)執(zhí)行隊列的方式,實現(xiàn)了二級調(diào)度;通過多個作業(yè)隊列的方式管理多個用戶組;作業(yè)隊列的計算資源允許在閑置時被其它作業(yè)隊列占用,以避免資源浪費;被占用的資源可以在作業(yè)隊列需要時被回收,回收過程支持任務搶占,并通過“共享隊列列表”和“非共享隊列列表”的邏輯劃分防止乒乓效應的產(chǎn)生。調(diào)度器同時支持作業(yè)類型進行調(diào)度,根據(jù)節(jié)點的負載情況,靈活地分配不同類型的作業(yè)以提高節(jié)點的硬件

3、利用率,加快作業(yè)的響應速度。
　　本文研究了提升Reduce任務網(wǎng)絡性能的優(yōu)化方法。通過在Map任務所在的節(jié)點合并輸出文件,使得輸出數(shù)據(jù)更緊湊,減少了本地臨時文件的文件數(shù),從而增大了單個輸出文件的大小。在Reduce任務的輸入數(shù)據(jù)本地化過程中,通過長連接從Map任務所在的節(jié)點獲取輸出文件,減小了網(wǎng)絡連接數(shù),并提高了網(wǎng)絡I/O的性能。
　　本文提出了對MapReduce編程模型進行性能分析的方法和分析指標。通過作業(yè)生命周期,任