Kafka将数据持久化到了硬盘上,为了控制磁盘容量,需要对过去的消息进行清理

那么kafka是怎么清理数据的呢

1.基于时间

2.基于文件大小

#清理超过指定时间的消息,默认是168小时,7天,
#还有log.retention.ms, log.retention.minutes, log.retention.hours,优先级高到低
log.retention.hours=168
​
#超过指定大小后,删除旧的消息,下面是1G的字节数,-1就是没限制
log.retention.bytes=1073741824
两者达到其一即可触发删除操作

还有一种策略,是日志压缩策略

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐