Hadoop作業(yè)啟動(dòng)性能優(yōu)化實(shí)踐.pdf

1、本論文闡述了本人在百度公司分布式計(jì)算小組工作過程中做過的一個(gè)優(yōu)化HADOOP作業(yè)提交時(shí)間的項(xiàng)目。這個(gè)項(xiàng)目的重點(diǎn)在于優(yōu)化在作業(yè)提交時(shí)split過程占用的時(shí)間和消耗的內(nèi)存，這是作業(yè)提交過程中最耗時(shí)的一步，也是作業(yè)提交前的所有準(zhǔn)備工作中最重要的一步，因?yàn)樗苯雨P(guān)系到輸入數(shù)據(jù)如何分片，即最終決定了這個(gè)作業(yè)具有的map任務(wù)數(shù)量，以及每一個(gè)map任務(wù)處理多少數(shù)據(jù)量，每個(gè)map任務(wù)優(yōu)先給哪一個(gè)節(jié)點(diǎn)的TaskTracker來處理。在百度公司以前的HAD

2、OOP版本，以及目前社區(qū)的HADOOP版本中，一直以來都沒有對(duì)split這個(gè)過程進(jìn)行過的大的修改或者優(yōu)化，隨著百度公司的HADOOP集群規(guī)模的擴(kuò)大，大作業(yè)數(shù)量的增加，單個(gè)作業(yè)需要輸入的數(shù)據(jù)量越來越大，文件數(shù)量也越來也多，從而導(dǎo)致在提交作業(yè)之前，對(duì)這些輸入數(shù)據(jù)進(jìn)行split過程暴露出了內(nèi)存占用大，耗時(shí)長(zhǎng)的問題，這兩個(gè)問題已經(jīng)嚴(yán)重影響到百度HADOOP集群對(duì)于大作業(yè)的處理效率，并引起了使用百度HADOOP集群的百度數(shù)據(jù)挖掘，日志分析等部門用

3、戶的不滿，因此，為了提高集群的處理效率，改善用戶體驗(yàn)，必須要對(duì)split這一過程進(jìn)行優(yōu)化。
　　本人獨(dú)立完成對(duì)split過程的優(yōu)化工作可以分為四個(gè)部分，分別是獲取blockLocations優(yōu)化，1s過程輸入路徑正則表達(dá)式中間匹配到文件的優(yōu)化，getSplits占用內(nèi)存過高優(yōu)化和將getSplit過程移植到TaskTracker優(yōu)化。這四部分優(yōu)化分別加速了獲取blockLocation信息的速度，對(duì)于遍歷路徑操作在中間層匹配到文件

4、這種情況進(jìn)行了加速優(yōu)化，對(duì)split內(nèi)存優(yōu)化使得split整個(gè)過程中占用內(nèi)存大幅下降，并且可以使內(nèi)存占用不依賴作業(yè)的輸入數(shù)據(jù)量，而是依賴于用戶指定的參數(shù)。將整個(gè)split過程從客戶端移植到TaskTracker上可以釋放客戶端的壓力，并且利用同集群間網(wǎng)絡(luò)傳輸?shù)膬?yōu)勢(shì)來進(jìn)一步節(jié)省split過程的耗時(shí)。
　　經(jīng)過本人對(duì)split的優(yōu)化，這一項(xiàng)目已經(jīng)成功上線了百度公司HADOOP集群，并且達(dá)到了非常理想的效果。大作業(yè)的提交時(shí)間從小時(shí)級(jí)縮短