kafka占用磁盘空间过大
生产环境服务器目前生产上kafka占用磁盘地方过大。运维建议优化。因为数据量大。且数据会备份到mongodb，所以kafka数据不需要保存太久。目前kafka 使用的是默认配置，默认配置中有两项配置可优化log.retention.hours清理超过指定时间清理 log.retention.bytes超过指定大小后，删除旧的消息目前默认配置 存放时间是7天而且大小无限大，我们可以将存放时间缩小且设
·
生产环境服务器目前生产上kafka占用磁盘地方过大。运维建议优化。因为数据量大。且数据会备份到mongodb，所以kafka数据不需要保存太久。
目前kafka 使用的是默认配置，默认配置中有两项配置可优化
log.retention.hours 清理超过指定时间清理
log.retention.bytes 超过指定大小后，删除旧的消息
log.retention.bytes 超过指定大小后，删除旧的消息
目前默认配置 存放时间是7天而且大小无限大，我们可以将存放时间缩小且设定默认大小（存在风险是可能会丢数据）
注：日志的真正清除时间。当删除的条件满足以后，日志将被“删除”，但是这里的删除其实只是将该日志进行了“delete”标注，文件只是无法被索引到了而已。但是文件本身，仍然是存在的，只有当过了log.segment.delete.delay.ms 这个时间以后，文件才会被真正的从文件系统中删除。
待优化
===========================================================================
生产环境报错java.io.IOException: 打开的文件过多，进程已挂掉。
修改配置 LimitNOFILE增加最大文件数
LimitNOFILE=改大一些
为开发者提供学习成长、分享交流、生态实践、资源工具等服务，帮助开发者快速成长。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)