基于YARN的高響應(yīng)性Hadoop計(jì)算資源調(diào)度器的研究與實(shí)現(xiàn).pdf

1、伴隨著大數(shù)據(jù)分析技術(shù)向各個(gè)領(lǐng)域的滲透，大數(shù)據(jù)處理平臺(tái)的響應(yīng)性能逐漸成為人們的關(guān)注焦點(diǎn)。作為當(dāng)前最為流行的開源大數(shù)據(jù)處理平臺(tái)，Hadoop在其第二代（Hadoop2.0）中采用YARN進(jìn)行計(jì)算資源的管理，從而提高了平臺(tái)的資源利用效率并且可以兼容多種計(jì)算框架。然而，YARN中現(xiàn)有的資源調(diào)度策略都是針對(duì)批處理系統(tǒng)而設(shè)計(jì)，導(dǎo)致平臺(tái)在響應(yīng)性能上存在嚴(yán)重的不足，無法滿足交互式分析等應(yīng)用的需求。因此，本文基于YARN的資源管理模式，進(jìn)行了高響應(yīng)性資源

2、調(diào)度器的研究。
　　本文借鑒了基于作業(yè)體量的調(diào)度策略，并針對(duì)YARN的資源管理模式和應(yīng)用特性進(jìn)行了改進(jìn)和擴(kuò)展，提出了FSPY（Fair Sojourn Protocol in YARN）資源調(diào)度器。FSPY調(diào)度器的基本策略是賦予虛擬體量較小的作業(yè)較高的優(yōu)先級(jí)。這里，作業(yè)體量即作業(yè)資源占用量在其執(zhí)行時(shí)間上的積分，作業(yè)虛擬體量指公平調(diào)度下作業(yè)在某一時(shí)刻的剩余體量。為了對(duì)作業(yè)的虛擬體量進(jìn)行跟蹤計(jì)算，本文設(shè)計(jì)了一個(gè)作業(yè)體量預(yù)測(cè)模塊和一個(gè)作

3、業(yè)虛擬體量計(jì)算模塊。在作業(yè)體量預(yù)測(cè)模塊中，本文針對(duì)MapReduce編程框架提出了一種基于探測(cè)作業(yè)和回歸分析相結(jié)合的預(yù)測(cè)方法。在作業(yè)虛擬體量計(jì)算模塊中，本文提出了一套簡(jiǎn)單可行的估算算法。此外，為緩解作業(yè)體量預(yù)測(cè)延時(shí)所帶來的影響，F(xiàn)SPY調(diào)度器在獲得作業(yè)體量之前采用公平調(diào)度策略對(duì)其調(diào)度。
　　本文通過實(shí)驗(yàn)對(duì)作業(yè)體量預(yù)測(cè)模塊的預(yù)測(cè)精度和FSPY調(diào)度器的整體性能進(jìn)行了驗(yàn)證。實(shí)驗(yàn)中所采用的作業(yè)集和數(shù)據(jù)集是利用SWIM工具基于FaceBoo

4、k2009年集群跟蹤數(shù)據(jù)而生成的。實(shí)驗(yàn)中，預(yù)測(cè)模塊對(duì)于MapReduce作業(yè)體量的R平方預(yù)測(cè)精度達(dá)到了0.97，充分滿足了大多數(shù)基于體量調(diào)度算法的要求；在工作負(fù)載較輕的情況下，F(xiàn)SPY調(diào)度器與公平調(diào)度器在作業(yè)平均響應(yīng)時(shí)間上具有相似的性能；而在工作負(fù)載較重的情況下，F(xiàn)SPY調(diào)度器相比于公平調(diào)度器在作業(yè)平均響應(yīng)時(shí)間上具有數(shù)倍的性能提升；FSPY調(diào)度下只有少數(shù)作業(yè)的響應(yīng)時(shí)間超過其在公平調(diào)度下的響應(yīng)時(shí)間，但是超時(shí)比例較小，表明FSPY有效保證了