LSF中數(shù)據(jù)收集分析子系統(tǒng)的研究與設計.pdf

1、隨著集群系統(tǒng)的發(fā)展,集群作業(yè)管理系統(tǒng)已成為高性能計算機領域的一個熱點問題。本文結合Platform Computing公司開發(fā)的LSF集群作業(yè)管理系統(tǒng),對該系統(tǒng)中的資源信息數(shù)據(jù)和作業(yè)運行歷史數(shù)據(jù)進行了研究,分析出系統(tǒng)管理人員難以根據(jù)當前系統(tǒng)數(shù)據(jù)的查詢和顯示來做出高效而可靠的決策,因而需要設立一個輔助系統(tǒng)來為管理人員更方便地查看和分析數(shù)據(jù)提供服務。
　　 本文首先研究了LSF系統(tǒng)的工作原理和作業(yè)執(zhí)行流程,分析了LSF系統(tǒng)中的兩類數(shù)

2、據(jù)以及當前數(shù)據(jù)的查詢和分析方式,得出系統(tǒng)提供的數(shù)據(jù)無法滿足管理人員的分析和決策需求。本文規(guī)劃了一個數(shù)據(jù)收集分析子系統(tǒng),將該系統(tǒng)劃分為數(shù)據(jù)收集模塊和數(shù)據(jù)分析處理模塊分別加以設計。本文在設計該子系統(tǒng)的數(shù)據(jù)收集過程中,采用了JNI技術來收集系統(tǒng)資源信息數(shù)據(jù)；在設計數(shù)據(jù)寫入過程中,設立了數(shù)據(jù)丟失保護機制；在設計數(shù)據(jù)分析處理過程中,采用了ETL技術和數(shù)據(jù)倉庫技術。最后對設計的子系統(tǒng)進行了總體的功能測試和模塊的性能測試,達到了本文的設計目標。