Elk E=
ElasticSeach(存储日志信息)
l Logstash(搬运工)
K Kibana连接到我们ElasticSeach图形化界面查询日志
Elk+kafka

Elk采集日志的原理:

  1. 需要在每个服务器上安装Logstash(搬运工)
  2. Logstash需要配置固定读取某个日志文件
  3. Logstash将我们的日志文件格式化为json的格式输出到es中
  4. 开发者使用Kibana连接到ElasticSeach 查询存储日志内容。

为什么需要将日志存储在ElasticSeach 而不是mysql中呢
ElasticSeach 底层使用到倒排索引 搜索日志效率
在这里插入图片描述

为什么需要使用elk+kafka

1.如果单纯的使用elk的话,服务器节点扩容 需要每个服务器上安装我们Logstash步骤比较冗余
2. Logstash读取本地日志文件,可能会对本地的磁盘io性能会有一定影响。
在这里插入图片描述
提高效率Logstash集群在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐