Kafka消费者分区分配策略
Kafka消费者分区分配策略
一:kafka有四种分区分配策略
1.RoundRobin
2.Range
3.Sticky(粘性)
4.CooperativeSticky(合作者粘性)后面版本加的分配策略
修改kafka分区分配策略:partition.assignment.strategy= range+CooperativeStucky(默认值) 或 roundrobin,kafka可以同时使用多个分区分配策略。
二:RoundRobin策略详解
RoundRobin是针对所有topic分区。它是采用轮询分区策略,是把所有的partition和所有的consumer列举出来,然后按照hashcode进行排序,最后再通过轮询算法来分配partition给每个消费者。
三:Range策略详解
Range策略是kafka默认的消费者分区分配策略,它是针对topic维度的,首先对同一个topic里面的分区按照序号进行排序,并对消费者按照字母顺序进行排序。
如图,假如现在有7个分区,3个消费者,排序后分区的顺序是0-6,消费者排完序后是C0-C2。
通过partition数/consumer数来决定每个消费者应该消费几个分区,如果除不尽的话排名靠前的消费者将会多消息一个分区,上图所示为7/3,即优先每个消费者分别消费两个分区,还多出来一个分区则由C0消费。以此类推,当有8个分区时则前两个消费者分别消费3个分区,最后一个消费者消费2个分区。
缺点:容易产生数据倾斜,如果是针对少量的topic而言C0多消费一个分区的数据影响不大,但是针对成百上千个topic那么C0就要多消费成百上千的分区数。
四:Sticky策略详解
粘性分区定义:可以理解为分配的结果带有“粘性的”。即在执行一次新的分配之前,考虑上一次分配的结果。尽量少的调整分配的变动,可以节省大量的开销。
粘性分区是由Kafka从0.11x版本开始引入的分配策略,首先会尽量均衡的分配分区到消费者上面,在出现同一消费组内消费者出现问题的时候,会尽量保持原来的分配的分区不变。
初始分配分区的方法与Range相似,但是不同。还是拿7个分区3个消费者为例。消费者消费的分区依旧是3、2、2,但是不同与Range的是Range分区是排好序的,如上图C0分配的是partition0、partition1、partition2分区,但是粘性分区C0不一定就是指定这三个分区,而是随机的。
更多推荐
所有评论(0)