题目:kafka如何保证多分区之间的数据是有序的


答案:

一、全局有序
由于kafka的一个topic可以分为多个partition,producer发送消息的时候,是分散在不同的partition的。当producer按顺序发消息给broker,但进入kafka之后,这些消息就不一定进到哪个partition,会导致顺序是乱的。
因此要满足全局有序,需要1个topic只能对应1个partition
在这里插入图片描述
而且对应的consumer也要使用单线程或者保证消费顺序的线程模型,否则会出现下图所示,消费端造成的消费乱序
在这里插入图片描述
二、局部有序
要满足局部有序,只需要在发消息的时候指定partition key,kafka对其进行hash计算,根据计算结果决定放入哪个partition。这样partition key相同的消息会放在同一个partition。此时,partition数量仍然可以设置多个,提升topic的整体吞吐量。
如下图所示,在不增加partition数量的情况下想提高消费速度,可以考虑再次hash唯一标识(例如订单id)到不同的线程上,多个消费者小城并发处理消息(依旧可以保证局部有序)
在这里插入图片描述


Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐