按日期滚动索引

环境

  1. ES 6.9、ES 7
  2. Centos 7

配置过程

  1. 创建索引

    PUT localhost:9200/index_20210915
    
  2. 设置索引别名(写入别名和读取别名)

    PUT localhost:9200/index_20210915/_alias/index_write
    
    PUT localhost:9200/index_20210915/_alias/index_read
    
  3. 配置定时执行脚本,通过linux内置的crontab实现定时执行效果。

    crontab -e
    
  4. 尾部追加定时配置,每天0点0分执行rollover.sh脚本

    0 0 * * * sh /home/essh/rollover.sh
    
  5. 编写rollover.sh脚本

    #!/bin/bash
    date >> /tmp/rollover/index.log
    curl -X POST -H "Content-Type: application/json" -i localhost:9200/index_write/_rollover/%3Cindex-%7Bnow%2Fd%7ByyyyMMdd%7C%2B08%3A00%7D%7D%3E --data '{"conditions":{"max_age":"1s"}}' >> /tmp/rollover/index.log
    
    %3Cindex-%7Bnow%2Fd%7ByyyyMMdd%7C%2B08%3A00%7D%7D%3E 是URL编码,
    解码后是 <index-{now/d{yyyyMMdd|+08:00}}>
    

关键点

  1. ES使用世界协调时间(UTC),比东八区早了8个小时。如果不加时区设定(+08:00),每天0点执行脚本取的日期是昨天。
  2. crontab中不识别URL编码
  3. ES 滚动索引默认的名称生成机制是+1。所以按日期生成时需要在请求中指定新索引名称。_rollover/新名称
Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐