基于相似性比較的Hadoop集群性能診斷研究.pdf

1、當今社會已然步入了大數(shù)據(jù)時代。政府，企業(yè)，研究機構(gòu)等每日需要處理的數(shù)據(jù)量越來越大。為了處理如此大規(guī)模的數(shù)據(jù)，Google公司開發(fā)了MapReduce數(shù)據(jù)并行處理框架。MapReduce可以有效的將大數(shù)據(jù)平均分割成很小的部分，并將它們分配給集群中單個節(jié)點運行。而Hadoop作為MapReduce的實現(xiàn)之一，已經(jīng)被包括Facebook，Yahoo等公司在內(nèi)的很多機構(gòu)使用。
　　隨著數(shù)據(jù)的日益增長，有越來越多的機器被部署在Hadoop集

2、群之中。面對如此多的節(jié)點，當集群出現(xiàn)性能問題時，很難定位到出現(xiàn)問題的節(jié)點以及導致該問題的根本原因。因此這類問題往往不會導致節(jié)點直接崩潰卻會使得運行效率明顯的下降。如何診斷此類錯誤成為了需要關(guān)注的問題。本文提出的基于相似性比較的Hadoop集群診斷系統(tǒng)通過分析Hadoop日志以及系統(tǒng)度量來診斷此類問題。該診斷系統(tǒng)基于在無錯誤的環(huán)境下，Hadoop集群中的各個節(jié)點的行為具有相似性這一特點，不僅提供了自動診斷模塊，而且還可利用圖形化分析模塊進

3、行輔助分析。其中自動診斷模塊將那些行為異常的節(jié)點定位為問題節(jié)點，并根據(jù)系統(tǒng)度量的表現(xiàn)情況分析導致節(jié)點出現(xiàn)問題的根本原因。而圖形化分析模塊是對自動診斷模塊的補充。該模塊一共分為三個部分，包括任務圖，數(shù)據(jù)圖以及度量時序圖，分別從節(jié)點任務的執(zhí)行時間，處理數(shù)據(jù)量大小以及系統(tǒng)資源消耗情況分析節(jié)點的運行情況以及可能存在的性能問題。
　　另外，本文還通過實驗證明了無錯誤環(huán)境下Hadoop集群節(jié)點行為的一致性以及基于相似性比較的Hadoop集群診