超算集成平臺資源監(jiān)控與分配系統(tǒng)的設(shè)計和實現(xiàn).pdf

1、隨著超級計算技術(shù)的不斷發(fā)展與日漸成熟，超算集群系統(tǒng)開始大量出現(xiàn)并逐漸成為高性能計算的主流平臺。如何對超算集群的資源進行實時有效地監(jiān)控，進而實現(xiàn)對計算資源更合理地分配已成為超級計算中心所面臨的一個重要問題。一方面，傳統(tǒng)的集群監(jiān)控采用的是telnet方式，此方法雖然實現(xiàn)簡單，但存在執(zhí)行效率低下、延遲嚴(yán)重以及資源狀態(tài)可視化差等缺陷。不僅如此，對于監(jiān)控所得到的數(shù)據(jù)，傳統(tǒng)集群也未能進行有效地利用。另一方面，在目前的超算集群中，資源分配方面通常采用

2、的是先來先服務(wù)、Max-min等單一的資源分配策略，這些策略不僅過于簡單，而且尚未利用資源監(jiān)控的資源狀態(tài)數(shù)據(jù)引導(dǎo)反饋資源的合理分配，造成了資源監(jiān)控與分配的脫節(jié)。這在一定程度上制約了用戶任務(wù)執(zhí)行效率的提升，因此本文針對這些問題，設(shè)計和實現(xiàn)超算集成平臺的資源監(jiān)控與分配系統(tǒng)。
　　首先，本文針對目前超算集成平臺資源分配方式過于單一、任務(wù)執(zhí)行效率不高以及未充分利用資源監(jiān)控系統(tǒng)狀態(tài)數(shù)據(jù)的問題，提出了一個融合資源監(jiān)控的IWO-ACO(Ant

3、ColonyOptimization based on Invasive Weed Optimization)資源分配策略。IWO-ACO算法依據(jù)入侵式雜草算法的“空間散布”機制對蟻群算法的信息素更新規(guī)則進行了改進，使得算法在尋優(yōu)能力和收斂性能上都有了較好的提升；此外還使用了動態(tài)揮發(fā)、濃度控制及動態(tài)均衡等策略，有效地避免了算法的“早熟”現(xiàn)象。然后本文利用IWO-ACO算法和資源監(jiān)控系統(tǒng)監(jiān)測的節(jié)點負(fù)載數(shù)據(jù)，形成一個融合資源監(jiān)控的資源分配策

4、略，并給出了相應(yīng)的策略過程描述和算法流程。
　　其次，基于提出的融合資源監(jiān)控的IWO-ACO資源分配策略，本文設(shè)計并實現(xiàn)了超算集成平臺資源監(jiān)控與分配系統(tǒng)，以彌補傳統(tǒng)集群監(jiān)控延遲嚴(yán)重、可視化差等缺陷。系統(tǒng)采用Spring框架的QuartZ任務(wù)調(diào)度器定時輪詢集群計算節(jié)點的負(fù)載情況，然后以熱圖或曲線的形式向用戶實時展示超算集群的資源狀態(tài)，如節(jié)點狀態(tài)、CPU/GPU利用率和內(nèi)存利用率等。資源監(jiān)控得到的資源狀態(tài)數(shù)據(jù)為本文的資源分配策略提供了