题目:kafka分区数的设置


答案:

(1)创建一个只有1个分区的topic
(2)测试这个topic的Producer吞吐量和consumer吞吐量
(3)假设它们的值分别是Tp和Tc,单位可以是MB/s
(4)然后假设总的目标吞吐量是Tt,那么分区数=Tt/min(Tp,Tc)
例如:producer吞吐量=20m/s;consumer吞吐量=50m/s,期望吞吐量100m/s;
分区数=100/20=5分区
分区数一般设置为:3-10个
分区数不是越多越好,也不是越少越好,需要搭建完集群,进行压测,再灵活调整分区
https://blog.csdn.net/weixin_42641909/article/details/89294698


Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐