24-kafka如何保证多分区之间的数据是有序的
题目:kafka如何保证多分区之间的数据是有序的答案:提示:这里可以添加要学的内容例如:搭建 Java 开发环境掌握 Java 基本语法掌握条件语句掌握循环语句
·
题目:kafka如何保证多分区之间的数据是有序的
答案:
一、全局有序
由于kafka的一个topic可以分为多个partition,producer发送消息的时候,是分散在不同的partition的。当producer按顺序发消息给broker,但进入kafka之后,这些消息就不一定进到哪个partition,会导致顺序是乱的。
因此要满足全局有序,需要1个topic只能对应1个partition
而且对应的consumer也要使用单线程或者保证消费顺序的线程模型,否则会出现下图所示,消费端造成的消费乱序
二、局部有序
要满足局部有序,只需要在发消息的时候指定partition key,kafka对其进行hash计算,根据计算结果决定放入哪个partition。这样partition key相同的消息会放在同一个partition。此时,partition数量仍然可以设置多个,提升topic的整体吞吐量。
如下图所示,在不增加partition数量的情况下想提高消费速度,可以考虑再次hash唯一标识(例如订单id)到不同的线程上,多个消费者小城并发处理消息(依旧可以保证局部有序)
更多推荐
已为社区贡献5条内容
所有评论(0)