Kafka将数据持久化到了硬盘上,为了控制磁盘容量,需要对过去的消息进行清理

那么kafka是怎么清理数据的呢

1.基于时间

2.基于文件大小

#清理超过指定时间的消息,默认是168小时,7天,
#还有log.retention.ms, log.retention.minutes, log.retention.hours,优先级高到低
log.retention.hours=168
​
#超过指定大小后,删除旧的消息,下面是1G的字节数,-1就是没限制
log.retention.bytes=1073741824
两者达到其一即可触发删除操作

还有一种策略,是日志压缩策略

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐