按日期滚动索引

环境

  1. ES 6.9、ES 7
  2. Centos 7

配置过程

  1. 创建索引

    PUT localhost:9200/index_20210915
    
  2. 设置索引别名(写入别名和读取别名)

    PUT localhost:9200/index_20210915/_alias/index_write
    
    PUT localhost:9200/index_20210915/_alias/index_read
    
  3. 配置定时执行脚本,通过linux内置的crontab实现定时执行效果。

    crontab -e
    
  4. 尾部追加定时配置,每天0点0分执行rollover.sh脚本

    0 0 * * * sh /home/essh/rollover.sh
    
  5. 编写rollover.sh脚本

    #!/bin/bash
    date >> /tmp/rollover/index.log
    curl -X POST -H "Content-Type: application/json" -i localhost:9200/index_write/_rollover/%3Cindex-%7Bnow%2Fd%7ByyyyMMdd%7C%2B08%3A00%7D%7D%3E --data '{"conditions":{"max_age":"1s"}}' >> /tmp/rollover/index.log
    
    %3Cindex-%7Bnow%2Fd%7ByyyyMMdd%7C%2B08%3A00%7D%7D%3E 是URL编码,
    解码后是 <index-{now/d{yyyyMMdd|+08:00}}>
    

关键点

  1. ES使用世界协调时间(UTC),比东八区早了8个小时。如果不加时区设定(+08:00),每天0点执行脚本取的日期是昨天。
  2. crontab中不识别URL编码
  3. ES 滚动索引默认的名称生成机制是+1。所以按日期生成时需要在请求中指定新索引名称。_rollover/新名称
Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐