大數據環(huán)境下Hadoop作業(yè)調度算法的研究.pdf

1、隨著移動互聯(lián)網、云計算、物聯(lián)網等新技術浪潮的興起，數據的體量、類型、速度和價值，在很短時間內達到前所未有的程度。傳統(tǒng)數據已完成了質變，大數據時代正式到來。Hadoop是一個開源的能夠對大數據進行分析和處理的分布式計算平臺，它具有高可靠性、高擴展性等很多優(yōu)點，成為各大企業(yè)存儲和處理海量數據的首選工具，在工業(yè)界和學術界備受關注。Hadoop2.0推出了通用的資源管理系統(tǒng)YARN，它的主要功能是對Hadoop平臺的資源和提交到平臺的作業(yè)進行管

2、理和調度，其中，作業(yè)調度算法的優(yōu)劣會直接影響Hadoop平臺資源利用率的高低進而影響到Hadoop平臺的性能。因此對作業(yè)調度算法的研究有重要意義。
　　負載均衡在集群系統(tǒng)中十分重要，如何合理的分配平臺中的計算資源、平衡節(jié)點負載是Hadoop集群中需要解決的一個重要問題。現有的作業(yè)調度算法是基于同構環(huán)境設計的只追求作業(yè)最短完成時間，沒有考慮節(jié)點的負載能力，這在異構環(huán)境下很容易導致集群節(jié)點負載不均衡，出現一些計算節(jié)點負載過大而同時另一

3、些計算節(jié)點處于閑置狀態(tài)的現象，嚴重降低了平臺的性能。針對集群負載不均衡的現象，提出了負載均衡度量函數(Load Balancing Measure Function，LBMF)。針對Hadoop調度在異構環(huán)境下負載不均衡的問題，提出了基于LBMF的粒子群調度算法(Load Balance Measure Function Particle Swarm Optimization,LBMFPSO)。在LBMFPSO算法中，提交的作業(yè)被當作粒