elk日志分析系統(tǒng)

1、ELK 日志分析系統(tǒng) 日志分析系統(tǒng)一、 一、ELK 日志分析系統(tǒng)介紹 日志分析系統(tǒng)介紹1.1 傳統(tǒng)的日志統(tǒng)計及分析方式 傳統(tǒng)的日志統(tǒng)計及分析方式日志主要包括系統(tǒng)日志、應用程序日志和安全日志。系統(tǒng)運維和開發(fā)人員可以通過日志了解服務器軟硬件信息、檢查配置過程中的錯誤及錯誤發(fā)生的原因。經常分析日志可以了解服務器的負荷，性能安全性，從而及時采取措施糾正錯誤。通常，日志被分散的儲存不同的設備上。如果你管理數(shù)十上百臺服務器，你還在使用依次登錄每臺機

2、器的傳統(tǒng)方法查閱日志。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日志管理，例如：開源的 syslog，將所有服務器上的日志收集匯總。集中化管理日志后，日志的統(tǒng)計和檢索又成為一件比較麻煩的事情，一般我們使用grep、awk 和 wc 等 Linux 命令能實現(xiàn)檢索和統(tǒng)計，但是對于要求更高的查詢、排序和統(tǒng)計等要求和龐大的機器數(shù)量依然使用這樣的方法難免有點力不從心。1.2 ELK 介紹 介紹開源實時日志分析 ELK 平臺能夠完美

3、的解決我們上述的問題，ELK 由 ElasticSearch、Logstash 和 Kiabana 三個開源工具組成。（1）、Elasticsearch 是個開源分布式搜索引擎 開源分布式搜索引擎，它的特點有：分布式，零配置，自動發(fā)現(xiàn)，索引自動分片，索引副本機制，restful 風格接口，多數(shù)據(jù)源，自動搜索負載等。（2）、Logstash 是一個完全開源的工具，可以對日志進行收集、過濾 收集、過濾，并將其存儲供以后使用（如：搜索）。（3

4、）、Kibana 也是一個開源和免費的可視化工具，可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助匯總、分析和搜索重要數(shù)據(jù)日志。1.2.1 Elasticsearch 介紹 介紹Elasticsearch 是一個基于 Apache Lucene(TM)的開源搜索引擎，Lucene 是當前行業(yè)內最先進、性能最好的、功能最全的搜索引擎庫。但 Lucene 只是一個庫。無法直接使用，必須使

5、用 Java 作為開發(fā)語言并將其直接集成到應用中才可以使用，而且 Lucene 非常復雜，需要提前深入了解檢索的相關知識才能理解它是如何工作的。Elasticsearch 也使用 Java 開發(fā)并使用 Lucene 作為其核心來實現(xiàn)所有索引和搜索的功能，但是它的目的是通過簡單的 RESTful API 來隱藏 Lucene 的復雜性，從而讓全文搜索變得簡單。但 Elasticsearch 不僅僅值是 Lucene 庫和全文搜索，它還有以

6、下用途：? 分布式的實時文件存儲，每個字段都被索引并可被搜索ES 索引 類型 文檔DB 庫 表 行在一個集群中，可以定義任意多的索引。（5）、類型（type）在一個索引中，可以定義一種或多種類型。類型是指索引的一個邏輯上的分類/分區(qū)，其語義可自定義。通常情況下，會為具有一組共同字段的文檔定義一個類型。比如說，我們假設運營一個博客平臺并且將所有的數(shù)據(jù)存儲到一個索引中。在這個索引中，可以為用戶數(shù)據(jù)定義一個類型，為博客數(shù)據(jù)定義另一個類型，當然

7、，也可以為評論數(shù)據(jù)定義另一個類型。（6）、文檔（document）文檔是指可被索引的基礎信息單元。比如，你可以擁有某一個客戶的文檔，某一個產品的一個文檔，當然，也可以擁有某個訂單的一個文檔。文檔以 JSON（Javascript Object Notation）格式來表示，而 JSON 是一個普遍存在的互聯(lián)網(wǎng)數(shù)據(jù)交互格式。在一個 index/type 里面，可以存儲任意多的文檔。注意，盡管一個文檔物理上存在于一個索引之中，但文檔必須被

8、賦予一個索引的 type。（7）、分片和復制（shards & replicas）一個索引可以存儲超出單個節(jié)點磁盤限制的大量數(shù)據(jù)。比如以下情況，一個具有 10 億文檔的索引占據(jù) 1TB 的磁盤空間，而集群中任一節(jié)點都沒有這樣大的磁盤空間；或者單個節(jié)點處理搜索請求，響應太慢。為了解決此問題，Elasticsearch 提供了將索引劃分成多份的能力，這些份就叫做分片。當創(chuàng)建一個索引的時候，可以指定想要的分片的數(shù)量。每個分片本身也是一

9、個功能完善并且獨立的“索引”，這個“索引”可以被放置到集群中的任何節(jié)點上。分片之所以重要，主要有兩方面的原因：A.允許水平分割/擴展內容容量B.允許在分片（潛在地，位于多個節(jié)點上）之上進行分布式的、并行的操作，進而提高性能/吞吐量至于一個分片怎樣分布，它的文檔怎樣聚合搜索請求，是完全由 Elasticsearch 管理的，用戶對此是透明的。在一個網(wǎng)絡/云的環(huán)境里，失敗隨時都可能發(fā)生，在某個分片/節(jié)點無原因就處于離線狀態(tài)，或者由于任何原因