问题描述:

提示:这里描述项目中遇到的问题:
消费者从Kafka里取数据,存入数据库中。Kafka中还有大量数据没有消费,在消费者中配置的max.poll.records参数是300。但是消费者每次只拉取五六十条数据,为何不是拉取300条数据呢?


原因分析:

提示:这里填写问题的分析:
消费者一次poll拉取多少数据,除了受max.poll.records参数影响外,还受fetch.max.bytes参数影响,即一次反馈数据量大小是多少。每次拉取不够300条,说明已经查过了fetch.max.bytes的限制。


解决方案:

提示:这里填写该问题的具体解决方案:
需要根据实际业务场景合理配置fetch.max.bytes和max.poll.records。从日志中看,每次拉取回来的数据都要处理几十秒钟,说明这个处理能力已经不是太高效了,所以这俩参数都不应该再往上提高了。

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐