今天在工作过程中遇到了一个问题,elasticsearch创建索引失败,我首先检查一下磁盘,发现磁盘爆满了

df -h /data

然后具体的查看是哪个文件占用过多

du -h /data

 发现是es-data目录,再继续发现

cd /data/es-data
du -h 

发现是logs目录占用最多,这个logs目录是配置给es的日志的,具体的配置为:

elasticsearch.yml文件中的path.logs参数

这个参数配置的是日志的存放目录。而log4j2.properties 用于配置elasticsearch的日志。

所以我们需要修改log4j2.properties中的相关配置,配置日志的自动清理策略

Log4j2

Elasticsearch使用Log4j2进行日志记录。可以使用 log4j2.properties 文件配置log4j2。Elasticsearch公开三个属性 ${sys:es.logs.base_path} ,${sys:es.logs.cluster_name} 以及 ${sys:es.logs.node_name} (如果明确设置node.name),可以在配置文件中引用,以确定日志文件的位置。

  • ${sys:es.logs.base_path} 将解析为日志目录;
  • ${sys:es.logs.cluster_name} 将解析为群集名称(默认配置中,用作日志文件名的前缀);
  • ${sys:es.logs.node_name} 将解析为节点名称(如果节点名称已显式设置)。

例如,如果您的日志目录(path.logs)是 /var/log/elasticsearch ,您的群集被命名 production;

那么 ${sys:es.logs.base_path} 将解析到 /var/log/elasticsearch ;

${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}.log 将被解析到 /var/log/elasticsearch/production.log 。

  1. 采用RollingFile类型的Appender

  2. 把日志写到/var/log/elasticsearch/production.log

  3. 归档后的日志文件的文件名格式,其中"%d{yyyy-MM-dd-HH}"用来自动填充日期

  4. 基于时间进行日志的切割

  5. 切割的间隔为1小时, 即每小时进行一次日志的归档

  6. 修正时间范围, 从0时开始计数,日志轮换是以天作为分界(而不是相隔24小时)

 Log4j的配置解析会被无关的空格干扰; 如果您在此页面上复制并粘贴任何Log4j设置,或者输入任何的Log4j配置,请确保去掉前导和尾随空格。

如果在 appender.rolling.filePattern 中追加.gz或者.zip后缀,那么当日志轮换的时候,旧的日志将会被压缩处理。

如果要在特定时间段内保留日志文件,则可以使用带有删除操作的滚动策略。

 

1、配置 DefaultRolloverStrategy

2、配置 delete action处理回滚

3、删除哪个目录下的日志归档文件

4、回滚处理时适用的条件

5、保留日志七天

6、只删除超过7天的文件,如果它们与指定的glob匹配

7、从基路径删除和glob  ${sys:es.logs.cluster_name}-* 匹配的文件,这是日志文件滚动到的glob;只会删除滚动的Elasticsearch日志,而不会删除弃用和缓慢的日志。感觉有点不通,把原文贴出来。

    
Delete files from the base path matching the glob ${sys:es.logs.cluster_name}-*; this is the glob that log files are rolled to; this is needed to only delete the rolled Elasticsearch logs but not also delete the deprecation and slow logs

可以加载多个配置文件(在这种情况下,它们将会被合并),只要它们被命名 log4j2.properties 并存放在Elasticsearch config目录下(只要它的祖先是此目录就行); 这对于插件记录日志很有用。

 logger  部分包含java包及其对应的日志级别。 appender 部分包含日志的储存位置。在Log4j documentation中可以找到有关如何自定义日志记录和 appender 的相关信息。

弃用日志

除了常规日志记录功能之外,Elasticsearch还允许您启用对已弃用的日志记录。例如,如果将来需要迁移某些功能,则可以提前确定。默认情况下,在WARN级别(在此级别,所有弃用日志消息都会被输出)启用弃用日志记录。

logger.deprecation.level = warn

这将在您的日志目录中创建每日滚动弃用日志文件。定期检查这个文件,特别是当你打算升级到一个新的主要版本。

默认日志记录配置已将弃用日志的滚动策略设置为1 GB后滚动和压缩,并保留最多五个日志文件(4个轮换日志,一个在用的日志)。通过在 config/log4j2.properties 文件中将弃用日志级别设置为error,就可以禁用它。

ES配置文件之日志-log4j2.properties

https://blog.csdn.net/qingmou_csdn/article/details/105917497

Elasticsearch配置详解

https://blog.csdn.net/mythest/article/details/88560972

Elasticsearch 日志配置详解

https://www.cnblogs.com/cocowool/p/elasticsearch-log-config.html

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐