基于主機的日志大數(shù)據(jù)分析及安全性檢查.pdf

1、在當今大數(shù)據(jù)及云計算時代，各種設備如手機，智能手環(huán)，智能眼鏡甚至垃圾桶等等通過連接網(wǎng)絡產(chǎn)生了豐富的應用，極大的方便了人們的生活。但與此同時生成大量的系統(tǒng)日志文件，這些日志中包含著用戶登陸地點，使用設備，使用時間甚至用戶當前的運動狀態(tài)，血壓及心跳等大量的信息。根據(jù)這些信息，能夠分析出目標的行為習慣，身體狀態(tài)等等。如何有效快速的處理如此大量的日志并從中挖掘出有用的信息已經(jīng)成為全球學術界探索的熱點之一。
　　本文在大數(shù)據(jù)的背景下，對目前

2、主流的日志分析及挖掘技術進行了研究。首先學習了目前常見的幾種日志并行處理方法，同時深入研究目前已有的大數(shù)據(jù)處理分析方法，進而設計出一套大數(shù)據(jù)日志分析用戶及系統(tǒng)安全性檢查的解決方案。
　　本文利用IBM智慧城市中的智慧物流系統(tǒng)作為日志來源，在主機上采用hadoop作為并行日志分析的計算框架，對大規(guī)模日志進行并行處理，將hadoop統(tǒng)計的結果作為SVM（支持向量機）的數(shù)據(jù)源，對已有數(shù)據(jù)進行分類，對用戶的習慣進行分析，總結出不同用戶的習

3、慣規(guī)律，在用戶產(chǎn)生異常行為時，系統(tǒng)及時發(fā)出警告，保證系統(tǒng)安全。
　　同時，采用了一種改進的主動學習算法，結合支持向量機對不平衡數(shù)據(jù)進行訓練和分類，該算法通過高斯核函數(shù)分析已有數(shù)據(jù)集的分布狀況，從而更加智能的從已有訓練集樣本未覆蓋的區(qū)域選擇新的樣本，克服了訓練集樣本分布過度集中，信息表達不充分的缺點。利用該算法對未登錄訪問請求日志進行深層分析，分類器可以通過較小的代價學習更多的樣本信息。同時，對未授權的訪問請求進行區(qū)分處理，單獨進行