數(shù)據(jù)中心運維數(shù)據(jù)關聯(lián)規(guī)則知識庫的構建.pdf

1、隨著信息技術的飛速發(fā)展，集群規(guī)模不斷擴大，對系統(tǒng)的運維技術提出了更高的要求。為了保障系統(tǒng)的運行以及對系統(tǒng)運行狀況的監(jiān)控，運維人員采集了系統(tǒng)的多個維度的運行信息，通過這些運維數(shù)據(jù)對系統(tǒng)進行維護。然而運維人員通常對各個維度運維數(shù)據(jù)單獨進行分析，沒有分析各個維度運維數(shù)據(jù)之間潛在關系。對積累的海量的各個維度的運維數(shù)據(jù)，缺少行之有效的關聯(lián)分析與挖掘手段，沒有將采集到的運維數(shù)據(jù)進行有效的分析利用。
　　為了挖掘運維數(shù)據(jù)的潛在價值，提高運維人員

2、的運維手段。本文介紹了基于運維數(shù)據(jù)的關聯(lián)規(guī)則知識庫進行挖掘與構建的技術。能夠對多源運維數(shù)據(jù)的進行深度挖掘和關聯(lián)分析，構建一個描述多源運維數(shù)據(jù)之間的相關性及因果結構等關聯(lián)關系的知識庫，讓運維人員更加了解系統(tǒng)的內在運行情況，以及系統(tǒng)各層次間事件的關聯(lián)關系，增強運維手段和效率。在本工作中，首先將運維數(shù)據(jù)轉化為系統(tǒng)事件數(shù)據(jù)，再基于系統(tǒng)事件數(shù)據(jù)進行關聯(lián)規(guī)則挖掘。
　　在將原始運維數(shù)據(jù)轉化為系統(tǒng)事件數(shù)據(jù)時，需要使用原始運維數(shù)據(jù)中的類別屬性作為

3、對應系統(tǒng)事件數(shù)據(jù)的類別。而原始系統(tǒng)日志沒有類別屬性，所以在將原始系統(tǒng)日志數(shù)據(jù)轉化為系統(tǒng)事件數(shù)據(jù)時，需要先對系統(tǒng)日志其進行類別標記，然后基于日志的類別轉化為相應的系統(tǒng)事件。系統(tǒng)日志的類別標記分為聚類和分類兩個過程。聚類過程完成日志類別的特征提取、構建類別特征知識庫的工作。分類過程完成對未進行類別標記的日志，根據(jù)類別特征知識庫進行類別匹配與標記的工作。本技術依據(jù)類別特征知識庫可對日志進行精準分類，分類精準度遠高于傳統(tǒng)文本聚類與分類方法。通過

4、詳細的理論分析，以及基于大規(guī)模日志數(shù)據(jù)上的實驗結果，證明了該日志類別標記方法的有效性。
　　為了使挖掘到的關聯(lián)規(guī)則更加具有使用價值，在進行關聯(lián)規(guī)則挖掘時，需要保留關聯(lián)項之間時序信息，而當前常用的關聯(lián)規(guī)則挖掘算法都丟失了關聯(lián)項之間的時序信息。本工作對Apriori算法進行了修改，主要對Apriori算法的支持度的計數(shù)方式和生成k+1項候啊選集的規(guī)則進行了改進。對Apriori算法進行的改進使得在進行多源運維數(shù)據(jù)關聯(lián)規(guī)則挖掘時，能夠保