日志數(shù)據(jù)分析系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著企業(yè)信息化的不斷發(fā)展，運行的信息系統(tǒng)不斷增加，大型企業(yè)內(nèi)部部署的各種軟硬件資源不斷增加。在企業(yè)系統(tǒng)維護的過程中，數(shù)據(jù)處理的壓力會越來越大，系統(tǒng)維護的工作量和難度不斷增加。路由器，交換機，PC服務(wù)器，阿里云服務(wù)器，各種大型應(yīng)用系統(tǒng)，數(shù)據(jù)庫等計算機網(wǎng)絡(luò)設(shè)備產(chǎn)生的網(wǎng)絡(luò)日志，系統(tǒng)日志，各種應(yīng)用程序日志不斷增加。在日志分析方面，傳統(tǒng)的技術(shù)在處理大量復(fù)雜日志時就會出現(xiàn)非常大的計算瓶頸。日志，作為對系統(tǒng)應(yīng)用，網(wǎng)絡(luò)設(shè)備，用戶操作的記錄工具，在保障系

2、統(tǒng)安全性，排除系統(tǒng)故障，監(jiān)控系統(tǒng)和網(wǎng)絡(luò)運營情況等很多方面都起到舉足輕重的作用。通過日志分析可以總結(jié)查看出系統(tǒng)故障出處，用戶操作行為，設(shè)備運行狀態(tài)等很多信息。如通過查看用戶注冊登錄記錄，用戶事件記錄即可發(fā)現(xiàn)用戶是否為正常狀態(tài)。對網(wǎng)絡(luò)配置，設(shè)備參數(shù)，接口變動等行為的記錄分析，就能獲取網(wǎng)絡(luò)運行狀態(tài)的信息。如果能對實時產(chǎn)生的日志做到實時全量采集，就可以進行數(shù)據(jù)實時分析或設(shè)置數(shù)據(jù)告警來對系統(tǒng)運行狀態(tài)進行監(jiān)控。通過數(shù)據(jù)儀表盤展示分析結(jié)果，是企業(yè)極易

3、接受的一種數(shù)據(jù)展現(xiàn)形式，更能清晰的體現(xiàn)出數(shù)據(jù)的價值。
　　本文所描述的項目是作者在北京久其智通數(shù)據(jù)科技有限公司實習(xí)過程中參與設(shè)計開發(fā)的實際項目。本人在項目中參與了系統(tǒng)需求分析，設(shè)計開發(fā)及測試部署的整個過程，主要包括系統(tǒng)前期需求調(diào)研，日志數(shù)據(jù)接入系統(tǒng)、日志檢索、可視化儀表盤和告警共四個模塊的設(shè)計，以及除了日志檢索模塊之外的開發(fā)工作。實現(xiàn)了對接入到系統(tǒng)的日志數(shù)據(jù)實時采集，實時檢索，定時監(jiān)控告警，日志分析結(jié)果可視化等功能。
　　本

4、論文首先根據(jù)實際業(yè)務(wù)需求對系統(tǒng)進行需求分析，確定了系統(tǒng)的功能需求和非功能需求。在此基礎(chǔ)上完成系統(tǒng)的概要設(shè)計，使用阿里云服務(wù)器作為開發(fā)的測試環(huán)境，并將系統(tǒng)分為檢索模塊，入數(shù)據(jù)到中間層模塊，中間層數(shù)據(jù)接入到ElasticSearch索引模塊，儀表盤模塊，告警模塊。完成數(shù)據(jù)庫設(shè)計后，在系統(tǒng)詳細設(shè)計與實現(xiàn)部分，對負責(zé)實現(xiàn)模塊進行功能描述和類設(shè)計，并對負責(zé)的重點功能的實現(xiàn)邏輯及實現(xiàn)過程中各方法的調(diào)用關(guān)系和實際運行效果進行了詳細的說明。