37.索引生命周期管理—kibana 索引配置
36.3 容量规划案例2基于时间序列的数据相关的用案日志 / 指标 / 安全相关的 Events舆情分析特性每条数据都有时间戳;文档基本不会被更新(日志和指标数据)用户更多的会查询近期的数据;对旧的数据查询相对较少对数据的写入性能要求比较高36.4 创建基于时间序列的索引创建 time-based 索引在索引的名字中增加时间信息按照 每天 / 每周 / 每月 的方式进行划分好处更加合理的组织索引,
·
37.1 背景
- 引入索引生命周期管理的一个最重要的目的就是对大量时序数据在es读写操作的性能优化
- 如通过spark streaming读取Kafka中的日志实时写入es,这些日志高峰期每天10亿+,每分钟接近100w,希望es能够对单分片超过50g或者30天前的索引进行归档,并能够自动删除90天前的索引
- 这个场景可以通过ILM进行策略配置来实现
37.2 介绍
- ES索引生命周期管理分为4个阶段:hot、warm、cold、delete
- 其中hot主要负责对索引进行rollover操作
- warm、cold、delete分别对rollover后的数据进一步处理(前提是配置了hot)
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-p4B2O3XF-1655369268458)(https://upload-images.jianshu.io/upload_images/19745945-79fde35d3a273e5d.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
37.3 kibana 索引配置
- 配置索引生命周期
- 点击Manage ->Index Lifecycle Policies 可以配置策略管理索引生命周期
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a5npnC0G-1655369268465)(https://upload-images.jianshu.io/upload_images/19745945-6ecbf71aa149e1aa.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
- 点击Manage ->Index Lifecycle Policies 可以配置策略管理索引生命周期
- 首先创建 Index Lifecycle Policies 也就官方文档中的四个阶段配置
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-g1fgPP0G-1655369268468)(https://upload-images.jianshu.io/upload_images/19745945-d8135d2162a12ca1.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TGjx9Dls-1655369268469)(https://upload-images.jianshu.io/upload_images/19745945-603e121e1b3a73fc.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7WJ6pgnG-1655369268471)(https://upload-images.jianshu.io/upload_images/19745945-19bd1b36a2904e3b.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)] - 配置好生命周期策略后,我们需要创建一个模板,将我们现在的输入 index 接管过来,然后将策略应用于这个模板,这就达到了,每次创建的 index 都能应用于这一策略
- 其实最方便的就是将你创建的索引都以 logstash-* 开头,默认就包含一个名为logstash 的模板
大数据视频推荐:
CSDN
大数据语音推荐:
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能:深度学习入门到精通
更多推荐
已为社区贡献2条内容
所有评论(0)