elasticsearch log日志占满磁盘的问题总结
今天在工作过程中遇到了一个问题,elasticsearch创建索引失败,我首先检查一下磁盘,发现磁盘爆满了df -h /data然后具体的查看是哪个文件占用过多du -h /data发现是es-data目录,再继续发现cd /data/es-datadu -h发现是logs目录占用最多,这个logs目录是配置给es的日志的,具体的配置为:elasticsearch.yml文件中的path.logs
今天在工作过程中遇到了一个问题,elasticsearch创建索引失败,我首先检查一下磁盘,发现磁盘爆满了
df -h /data
然后具体的查看是哪个文件占用过多
du -h /data
发现是es-data目录,再继续发现
cd /data/es-data
du -h
发现是logs目录占用最多,这个logs目录是配置给es的日志的,具体的配置为:
elasticsearch.yml文件中的path.logs参数
这个参数配置的是日志的存放目录。而log4j2.properties 用于配置elasticsearch的日志。
所以我们需要修改log4j2.properties中的相关配置,配置日志的自动清理策略
Log4j2
Elasticsearch使用Log4j2进行日志记录。可以使用 log4j2.properties 文件配置log4j2。Elasticsearch公开三个属性 ${sys:es.logs.base_path} ,${sys:es.logs.cluster_name} 以及 ${sys:es.logs.node_name} (如果明确设置node.name
),可以在配置文件中引用,以确定日志文件的位置。
- ${sys:es.logs.base_path} 将解析为日志目录;
- ${sys:es.logs.cluster_name} 将解析为群集名称(默认配置中,用作日志文件名的前缀);
- ${sys:es.logs.node_name} 将解析为节点名称(如果节点名称已显式设置)。
例如,如果您的日志目录(path.logs)是 /var/log/elasticsearch ,您的群集被命名 production;
那么 ${sys:es.logs.base_path} 将解析到 /var/log/elasticsearch ;
${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}.log 将被解析到 /var/log/elasticsearch/production.log 。
-
采用RollingFile类型的Appender
-
把日志写到
/var/log/elasticsearch/production.log
-
归档后的日志文件的文件名格式,其中"%d{yyyy-MM-dd-HH}"用来自动填充日期
-
基于时间进行日志的切割
-
切割的间隔为1小时, 即每小时进行一次日志的归档
-
修正时间范围, 从0时开始计数,日志轮换是以天作为分界(而不是相隔24小时)
Log4j的配置解析会被无关的空格干扰; 如果您在此页面上复制并粘贴任何Log4j设置,或者输入任何的Log4j配置,请确保去掉前导和尾随空格。
如果在 appender.rolling.filePattern 中追加.gz
或者.zip
后缀,那么当日志轮换的时候,旧的日志将会被压缩处理。
如果要在特定时间段内保留日志文件,则可以使用带有删除操作的滚动策略。
1、配置 DefaultRolloverStrategy
2、配置 delete action处理回滚
3、删除哪个目录下的日志归档文件
4、回滚处理时适用的条件
5、保留日志七天
6、只删除超过7天的文件,如果它们与指定的glob匹配
7、从基路径删除和glob ${sys:es.logs.cluster_name}-* 匹配的文件,这是日志文件滚动到的glob;只会删除滚动的Elasticsearch日志,而不会删除弃用和缓慢的日志。感觉有点不通,把原文贴出来。
Delete files from the base path matching the glob ${sys:es.logs.cluster_name}-*; this is the glob that log files are rolled to; this is needed to only delete the rolled Elasticsearch logs but not also delete the deprecation and slow logs
可以加载多个配置文件(在这种情况下,它们将会被合并),只要它们被命名 log4j2.properties 并存放在Elasticsearch config目录下(只要它的祖先是此目录就行); 这对于插件记录日志很有用。
logger 部分包含java包及其对应的日志级别。 appender 部分包含日志的储存位置。在Log4j documentation中可以找到有关如何自定义日志记录和 appender 的相关信息。
弃用日志
除了常规日志记录功能之外,Elasticsearch还允许您启用对已弃用的日志记录。例如,如果将来需要迁移某些功能,则可以提前确定。默认情况下,在WARN级别(在此级别,所有弃用日志消息都会被输出)启用弃用日志记录。
logger.deprecation.level = warn
这将在您的日志目录中创建每日滚动弃用日志文件。定期检查这个文件,特别是当你打算升级到一个新的主要版本。
默认日志记录配置已将弃用日志的滚动策略设置为1 GB后滚动和压缩,并保留最多五个日志文件(4个轮换日志,一个在用的日志)。通过在 config/log4j2.properties 文件中将弃用日志级别设置为error,就可以禁用它。
ES配置文件之日志-log4j2.properties
https://blog.csdn.net/qingmou_csdn/article/details/105917497
Elasticsearch配置详解
https://blog.csdn.net/mythest/article/details/88560972
Elasticsearch 日志配置详解
https://www.cnblogs.com/cocowool/p/elasticsearch-log-config.html
更多推荐
所有评论(0)