Kafka消息数据积压，Kafka消费能力不足怎么处理？
如果是Kafka消费能力不足，则可以考虑增加Topic的分区数，并且同时提升消费组的消费者数量，消费者数=分区数；如果是下游的数据处理不及时，提高每批次拉取的数量。批次拉取数量太少，即拉取数量/处理时间<生产速度，使处理的数据小于生产的数据，也会造成数据挤压。参考：https://www.cnblogs.com/lidabo/p/13671557.html...
·
- 如果是Kafka消费能力不足，则可以考虑增加Topic的分区数，并且同时提升消费组的消费者数量，消费者数=分区数；
- 如果是下游的数据处理不及时，提高每批次拉取的数量(max.poll.records，默认是500)。批次拉取数量太少，即拉取数量/处理时间<生产速度，使处理的数据小于生产的数据，也会造成数据积压。
参考：https://www.cnblogs.com/lidabo/p/13671557.html
华为开发者空间，是为全球开发者打造的专属开发空间，汇聚了华为优质开发资源及工具，致力于让每一位开发者拥有一台云主机，基于华为根生态开发、创新。
更多推荐
0
0- 0
已为社区贡献3条内容
所有评论(0)