Hadoop任務(wù)調(diào)度算法本地性優(yōu)化研究.pdf

1、隨著互聯(lián)網(wǎng)，移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展，接入的數(shù)據(jù)終端和用戶的爆炸性增長(zhǎng)，數(shù)據(jù)量也是指數(shù)性的增加，這就給了傳統(tǒng)的數(shù)據(jù)處理方式帶來(lái)了很大困難。因?yàn)樵趥鹘y(tǒng)數(shù)據(jù)處理上，數(shù)據(jù)往往在一個(gè)終端處理，這是一種集約化的處理方式，這樣對(duì)于一個(gè)大數(shù)據(jù)來(lái)說(shuō)，處理就需要相當(dāng)長(zhǎng)的時(shí)間，這顯然是不合理的。相比于傳統(tǒng)數(shù)據(jù)處理方式，云計(jì)算有諸多優(yōu)勢(shì)，如超大規(guī)模、虛擬化、高可靠性、通用性、高可伸縮性、按需服務(wù)、極其廉價(jià)，因此云計(jì)算也得到了空前發(fā)展。在此背景之下，Apache

2、Lucene的創(chuàng)始人Doug Cutting創(chuàng)建了Hadoop， Hadoop基于Google發(fā)表了三大論文：MapReduce[2]、Google File System[3]和Big Table[4]，這是一種與集約化完全不同的分布式處理方式。在之后的Hadoop2.x中YARN(Yet Another Resource Negotiator)取代了MapReduce成為了Hadoop的計(jì)算模型。隨著云計(jì)算的飛速發(fā)展，Hadoop開(kāi)

3、源框架也經(jīng)歷了多個(gè)版本，因此Hadoop的資源管理系統(tǒng)也轉(zhuǎn)變?yōu)閅ARN，作業(yè)調(diào)度也越來(lái)越完善。在Hadoop的調(diào)度算法研究中，存在多個(gè)方面的研究方向，但數(shù)據(jù)本地性一直是重中之重。同時(shí)在Hadoop實(shí)際企業(yè)運(yùn)用當(dāng)中，實(shí)際的作業(yè)大多是小作業(yè)，這些小作業(yè)會(huì)存在本地性差的問(wèn)題，作業(yè)數(shù)據(jù)經(jīng)常性的在集群中傳輸容易造成集群網(wǎng)絡(luò)擁堵和延遲，因此特別需要提高其數(shù)據(jù)的本地性。
　　在Hadoop中我們?cè)谙嚓P(guān)研究的基礎(chǔ)上引入了數(shù)據(jù)本地性算法。該算法已被

4、證明能在基本保證響應(yīng)時(shí)間和執(zhí)行時(shí)間的基礎(chǔ)之上很好的提高數(shù)據(jù)的本地性，利于小作業(yè)較多的集群。算法的核心思想是權(quán)衡任務(wù)的等待時(shí)間和傳輸時(shí)間來(lái)決定任務(wù)是否在本地執(zhí)行。為了實(shí)現(xiàn)上述目標(biāo)，本文詳細(xì)介紹了YARN中調(diào)度器的原理，對(duì)其基本架構(gòu)、調(diào)度策略、搶占模式做了詳細(xì)說(shuō)明。同時(shí)本文改進(jìn)了數(shù)據(jù)本地性算法，在該算法當(dāng)中加入了匹配機(jī)制，當(dāng)一次匹配不成功時(shí)標(biāo)記請(qǐng)求的節(jié)點(diǎn)，在下一次調(diào)度時(shí)則取消評(píng)估等待時(shí)間和傳輸時(shí)間，直接分配任務(wù)給該節(jié)點(diǎn)。本文將改進(jìn)的數(shù)據(jù)本地