基于日志特征的異常檢測系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著云計算等技術(shù)的飛速發(fā)展與普及，應(yīng)用系統(tǒng)正逐步遷移到以大型服務(wù)器集群為核心的分布式運行環(huán)境中，系統(tǒng)規(guī)模變得越來越大，復(fù)雜度越來越高。當(dāng)系統(tǒng)出現(xiàn)故障時，系統(tǒng)維護(hù)人員面對大量的系統(tǒng)運行信息，系統(tǒng)異常行為檢測將面臨巨大挑戰(zhàn)。應(yīng)用系統(tǒng)的日志記錄了系統(tǒng)的執(zhí)行軌跡，并且存在于系統(tǒng)的所有組件中，因此可以通過挖掘大量包含豐富信息的日志來檢測系統(tǒng)出現(xiàn)的異常行為。傳統(tǒng)的日志分析和異常檢測技術(shù)各有側(cè)重，有些技術(shù)已日趨成熟，但解決相應(yīng)問題的同時也隱藏著各自的

2、缺點，往往針對某些特定場景或局部問題而難以面面俱到，因此需要一些新的觀點，立足于現(xiàn)有成果，從不同角度和更深層次對該領(lǐng)域問題進(jìn)行研究。
　　基于上述背景，本文通過使用源代碼分析、流程建模、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)算法和異常值檢測方法設(shè)計與實現(xiàn)了基于日志特征的異常行為檢測系統(tǒng)。本系統(tǒng)基于較成熟的云環(huán)境，立足于日志分析，針對現(xiàn)有的技術(shù)難點進(jìn)行改進(jìn)，能夠適應(yīng)多樣化的系統(tǒng)日志結(jié)構(gòu)和格式，從時間序和邏輯序多個方面對系統(tǒng)行為加以分析，改善了日志分析中

3、簡單啟發(fā)式方法造成的準(zhǔn)確性不高和普遍的頻繁模式挖掘常見的效率底下問等問題。本系統(tǒng)的的主要實現(xiàn)過程如下：首先通過Elipse的IDE插件進(jìn)行目標(biāo)開源框架的源碼分析，針對源碼建立索引并使用抽象語法樹提取日志相關(guān)的模板信息和流程結(jié)構(gòu)，包括每個日志的輸出格式和上下文邏輯關(guān)系。然后利用分布式存儲環(huán)境和計算框架對日志進(jìn)行預(yù)處理，通過改進(jìn)的模式匹配方法運用日志模板和流程模型對日志進(jìn)行抽取轉(zhuǎn)化，完成特征統(tǒng)計，選取流程狀態(tài)變量和消息計數(shù)變量作為特征變量，

4、以此為依據(jù)針對不同變量使用不同方式對日志進(jìn)行特征分組處理，提取每組特征向量繼而組成代表整體系統(tǒng)行為的特征矩陣。接著基于事物的主要矛盾，為了壓縮矩陣規(guī)模和降低矩陣維度，將多元數(shù)據(jù)的特征在低維空間里直觀地表示出來，論文使用主成分分析法來進(jìn)行異常值檢測，進(jìn)而找到異常向量定位系統(tǒng)異常行為。最后使用決策樹來表示系統(tǒng)的正常和異常行為，決策樹的使用規(guī)范了系統(tǒng)行為的具體執(zhí)行路徑，為判斷行為的合法性提供直接參考，同時采用各種報表對系統(tǒng)行為進(jìn)行統(tǒng)計得到系統(tǒng)