基于云平臺的日志實時分析系統(tǒng)設計與實現.pdf

1、隨著云平臺技術的不斷成熟，各類移動端應用層出不窮，為了保障服務質量，對日志數據的分析和監(jiān)控愈發(fā)顯得重要。同時，為了更實時、更有效地依據海量的在線數據進行決策，人們也不再滿足于傳統(tǒng)的集中式離線數據分析。因此，基于分布式架構的日志實時分析系統(tǒng)便應運而生。
　　業(yè)界已經存在多種開源的日志收集系統(tǒng)，而通過對比分析這些系統(tǒng)的適用場景、各自的發(fā)展狀況，并結合在百度公司實習期間的實際需求，設計了一套基于云平臺的日志實時分析系統(tǒng)。以Logstas

2、h作為日志采集的客戶端工具，融合Kafka消息中間件和ElasticSearch存儲集群，并且基于功能強大的圖形化服務Kibana，實現日志分析數據在Web端的多維度實時展示。為了優(yōu)化部署效率以及減輕運維壓力，利用云平臺管理的關鍵技術Mesos作為資源統(tǒng)一管理與調度框架，實現了基于云平臺的服務部署方案。這不但可以實現對服務器資源的靈活管理和高效利用，還可以實現日志實時分析系統(tǒng)的彈性部署和故障后的快速重建。
　　在實現系統(tǒng)的基本功能