Kafka消息数据积压，Kafka消费能力不足怎么处理？
如果是Kafka消费能力不足，则可以考虑增加Topic的分区数，并且同时提升消费组的消费者数量，消费者数=分区数；如果是下游的数据处理不及时，提高每批次拉取的数量。批次拉取数量太少，即拉取数量/处理时间<生产速度，使处理的数据小于生产的数据，也会造成数据挤压。参考：https://www.cnblogs.com/lidabo/p/13671557.html...
·
- 如果是Kafka消费能力不足，则可以考虑增加Topic的分区数，并且同时提升消费组的消费者数量，消费者数=分区数；
- 如果是下游的数据处理不及时，提高每批次拉取的数量(max.poll.records，默认是500)。批次拉取数量太少，即拉取数量/处理时间<生产速度，使处理的数据小于生产的数据，也会造成数据积压。
参考：https://www.cnblogs.com/lidabo/p/13671557.html
为开发者提供学习成长、分享交流、生态实践、资源工具等服务，帮助开发者快速成长。
更多推荐
0
0- 0
已为社区贡献4条内容
所有评论(0)