基于微服務(wù)架構(gòu)的日志系統(tǒng)

1、基于微服務(wù)架構(gòu)的日志系統(tǒng)基于微服務(wù)架構(gòu)的日志系統(tǒng)4.2日志緩沖Kafka上不同類型的日志需要有不同的目錄空間，在kafka中，這個(gè)目錄空間叫topic，kafka有自動(dòng)的主題創(chuàng)建模式，即當(dāng)kafka接收到一條消息，發(fā)現(xiàn)消息中的topic沒有，就自動(dòng)創(chuàng)建。因此，只需要約定每種日志的topic，在logstash中進(jìn)行相關(guān)的配置，kafka上并不需要做預(yù)定義的主題創(chuàng)建。4.3日志處理LogStashindexer負(fù)責(zé)從kafka拉取日志信息

2、；進(jìn)行從原始數(shù)據(jù)到ElasticSearch所要求的數(shù)據(jù)格式的轉(zhuǎn)換，比如日期格式轉(zhuǎn)換為預(yù)定義的格式，某些字段的去除、字段的合并轉(zhuǎn)換等；從日志信息中抓取關(guān)鍵字，判斷出應(yīng)該寫入到ElasticSearch的哪個(gè)index中，并將信息存入對(duì)應(yīng)的index。4.4日志存儲(chǔ)日志存儲(chǔ)在ElasticSearch中，同樣ElasticSearch也是使用集群方式來進(jìn)行部署，ElasticSearch集群節(jié)點(diǎn)分為三種類型：masternode、clie

3、ntnode、datanode。Mastermode：集群的管理節(jié)點(diǎn)，主要功能是維護(hù)元數(shù)據(jù)，管理集群各個(gè)節(jié)點(diǎn)的狀態(tài)。clientnode：用作分發(fā)的節(jié)點(diǎn)，負(fù)責(zé)將收到的請(qǐng)求分發(fā)到各個(gè)datanode。Datanode：負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)、查詢和導(dǎo)入。ElasticSearch存儲(chǔ)結(jié)構(gòu)定義：本日志系統(tǒng)的管理微服務(wù)預(yù)先在ElasticSearch上進(jìn)行初始化動(dòng)作，創(chuàng)建存儲(chǔ)結(jié)構(gòu)，指定字段的類型和相關(guān)屬性。4.5日志展示本日志系統(tǒng)的界面使用了web頁

4、面方式，拆分了一個(gè)專門做展示的微服務(wù)，該微服務(wù)在web界面中集成了kibana的圖表進(jìn)行日志的統(tǒng)計(jì)、查詢結(jié)果的展示，另外提供了日志信息導(dǎo)出的功能。主要展示信息包括：日志數(shù)量變化趨勢(shì)圖、日志TOPN的實(shí)例圖、失敗時(shí)間日志分析圖、日志查詢結(jié)果。5結(jié)論本日志系統(tǒng)在日志收集、緩沖、處理、存儲(chǔ)等各個(gè)階段均采用了分布式、微服務(wù)化的部署方式，使日志處理的全流程均可根據(jù)實(shí)際使用情況，進(jìn)行動(dòng)態(tài)彈縮，有效地利用了物理資源，并能夠應(yīng)對(duì)大規(guī)模的日志情況，由于采