基于云平臺(tái)的日志實(shí)時(shí)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著云平臺(tái)技術(shù)的不斷成熟，各類移動(dòng)端應(yīng)用層出不窮，為了保障服務(wù)質(zhì)量，對(duì)日志數(shù)據(jù)的分析和監(jiān)控愈發(fā)顯得重要。同時(shí)，為了更實(shí)時(shí)、更有效地依據(jù)海量的在線數(shù)據(jù)進(jìn)行決策，人們也不再滿足于傳統(tǒng)的集中式離線數(shù)據(jù)分析。因此，基于分布式架構(gòu)的日志實(shí)時(shí)分析系統(tǒng)便應(yīng)運(yùn)而生。
　　業(yè)界已經(jīng)存在多種開源的日志收集系統(tǒng)，而通過(guò)對(duì)比分析這些系統(tǒng)的適用場(chǎng)景、各自的發(fā)展?fàn)顩r，并結(jié)合在百度公司實(shí)習(xí)期間的實(shí)際需求，設(shè)計(jì)了一套基于云平臺(tái)的日志實(shí)時(shí)分析系統(tǒng)。以Logstas

2、h作為日志采集的客戶端工具，融合Kafka消息中間件和ElasticSearch存儲(chǔ)集群，并且基于功能強(qiáng)大的圖形化服務(wù)Kibana，實(shí)現(xiàn)日志分析數(shù)據(jù)在Web端的多維度實(shí)時(shí)展示。為了優(yōu)化部署效率以及減輕運(yùn)維壓力，利用云平臺(tái)管理的關(guān)鍵技術(shù)Mesos作為資源統(tǒng)一管理與調(diào)度框架，實(shí)現(xiàn)了基于云平臺(tái)的服務(wù)部署方案。這不但可以實(shí)現(xiàn)對(duì)服務(wù)器資源的靈活管理和高效利用，還可以實(shí)現(xiàn)日志實(shí)時(shí)分析系統(tǒng)的彈性部署和故障后的快速重建。
　　在實(shí)現(xiàn)系統(tǒng)的基本功能