面向超級計(jì)算機(jī)的自適應(yīng)故障預(yù)測算法研究.pdf

1、隨著信息技術(shù)的發(fā)展,云計(jì)算等大型分布式系統(tǒng)開始廣泛投入部署和應(yīng)用。然而隨著應(yīng)用系統(tǒng)軟硬件復(fù)雜性的增加,如何保證系統(tǒng)能夠長時間正確運(yùn)行,為廣大用戶提供高質(zhì)量服務(wù),成為了大型系統(tǒng)設(shè)計(jì)開發(fā)過程中需要考慮的問題。大型系統(tǒng)如果能夠通過故障預(yù)測策略實(shí)現(xiàn)自我診斷,那么其容錯能力和資源調(diào)度能力就能得到很大的提升,從而保證系統(tǒng)的高可用性和高可靠性。超級計(jì)算機(jī)擁有復(fù)雜的計(jì)算機(jī)系統(tǒng),針對超級計(jì)算機(jī)的故障預(yù)測研究對于提高超級計(jì)算機(jī)的運(yùn)算性能和系統(tǒng)容錯能力具有重

2、要意義,并且有效的故障預(yù)測策略也可以應(yīng)用于其它大型系統(tǒng)中,以此提高這些系統(tǒng)的容錯能力。
　　本文以超級計(jì)算機(jī)的系統(tǒng)運(yùn)行日志為基礎(chǔ),首先設(shè)計(jì)并實(shí)現(xiàn)了基于語義和時間相關(guān)的過濾算法(Semantic Time Filter Algorithm,STF),對日志記錄進(jìn)行預(yù)處理。STF算法考慮日志記錄之間的語義相關(guān)度和時間相關(guān)度,根據(jù)兩個相關(guān)度對原始日志記錄中的冗余記錄進(jìn)行過濾。通過實(shí)驗(yàn)發(fā)現(xiàn),過濾后的日志記錄序列能夠有效地反映系統(tǒng)中非故障事

3、件到故障事件的演變過程,對于后續(xù)分析并建立故障預(yù)測模型有很大幫助。
　　通過對過濾后的日志記錄進(jìn)行分析,本文運(yùn)用數(shù)據(jù)挖掘中的分類預(yù)測思想,將時間軸劃分為一定大小的時間窗,針對時間窗進(jìn)行特征提取,以時間窗為單位進(jìn)行故障預(yù)測。本文使用AdaBoost算法在SVM分類器的訓(xùn)練學(xué)習(xí)過程中,根據(jù)訓(xùn)練集動態(tài)調(diào)整分類器核心參數(shù)?,使分類器進(jìn)行自適應(yīng)學(xué)習(xí)提升,建立了自適應(yīng)故障預(yù)測模型AdaBoostSVM。
　　本文以超級計(jì)算機(jī)BlueGe