对于kafka的数据积压,需要搞清楚,到底是在哪里数据积压了对于一般的处理,是以下2种处理方式

1、增加分区partitions数,但是partition的数量并不是无限增大的,他是有上限的,一般partition的分区数的数不能大于kafka的broker数,因为我做过测试,当分区数大于broker数的时候,会出现无法消费数据的情况

      ./kafka-topics.sh –zookeeper hostname:2181 -alter –partitions 待修改的分区数 –topic 主题名称

2、提高消费的速度,对于分区数一定的情况下,为了避免单线程的消费一个分区的数据,我们可以多线程去消费分区的数据,这样从而提高kafka的消费者的消费性能,但是对于多线程,此时就需要手动去维护每个分区的offset这个偏移量了。

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐