Map Reduce Fair Scheduler的高性能優(yōu)化及超大規(guī)模集群模擬器設(shè)計及實現(xiàn).pdf

1、當(dāng)前互聯(lián)網(wǎng)面臨著PB級數(shù)據(jù)集的存儲和計算的難題，傳統(tǒng)的單機內(nèi)存式編程已經(jīng)達到其瓶頸，而Hadoop正在被越來越多地用來處理海量數(shù)據(jù)的分布式存儲和計算，是一種易擴展的分布式計算框架，將廉價的PC節(jié)點聯(lián)合起來提供提供存儲和計算服務(wù)，其MapReduce框架為用戶提供了容易使用的并行處理大規(guī)模數(shù)據(jù)的編程模型。以此為背景，本文深入分析了MapReduce的工作原理和機制，以及Hadoop平臺的主從式系統(tǒng)架構(gòu)。
　　 Facebook在其

2、自身數(shù)據(jù)規(guī)模大，小作業(yè)多，對作業(yè)響應(yīng)時間要求高的特點下，設(shè)計并實現(xiàn)了MapReduce的公平調(diào)度器，但是在長時間的批處理作業(yè)和短時間的交互型作業(yè)混合的超大集群中，公平調(diào)度器的性能會嚴(yán)重減弱，也使得公平調(diào)度器普適性不高。本文基于Facebook的公平調(diào)度器，深入分析了其性能瓶頸，指出優(yōu)化難點，并進行針對性的優(yōu)化：(1)延遲調(diào)度策略(2)Shuffle獨立(3)多任務(wù)分配(4)oob心跳，及其他的一些優(yōu)化，從而解決數(shù)據(jù)本地性差和reduce

3、的計算資源利用率不高等問題，從響應(yīng)時間和吞吐量兩個方便提高了調(diào)度器性能，并進行相應(yīng)的分析。
　　 隨著Hadoop的普及，Hadoop集群的benchmark測試工具也將越來越被重視，在此背景下，結(jié)合真實的線上生產(chǎn)集群，本文設(shè)計并實現(xiàn)了超大規(guī)模hadoop集群的模擬器，并對其功能和性能做了驗證性測試，其主要功能有(1)用1～2臺服務(wù)器模擬超大規(guī)模集群，(2)模擬客戶端并發(fā)提交作業(yè)，提供全面的benchmark測試?；谀M器搭建