①kafka节点数量
Kafka 机器数量(经验公式)=2*(峰值生产速度副本数/100)+1
峰值速度:比如flume读取日志文件往kafka里写数据的峰值速度,得问公司上游业务团队获得
副本数:topic的副本数,一般是2个(3个)
先拿到峰值生产速度,再根据设定的副本数,就能预估出需要部署 Kafka 的数量。
比如我们的峰值生产速度是 50M/s。副本数为 2。
Kafka 机器数量=2
(50*2/100)+ 1=3 台

②topic数量确定
1个topic就是一类数据,有多少种数据就建多少个topic就行

③topic分区数量
1)创建一个只有 1 个分区的 topic
2)测试这个 topic 的 producer 吞吐量和 consumer 吞吐量。(用kafka压力测试工具得到)
3)假设他们的值分别是 Tp 和 Tc,单位可以是 MB/s。
4)然后假设总的目标吞吐量是 Tt,那么分区数=Tt / min(Tp,Tc)
例如:producer 吞吐量=20m/s;consumer 吞吐量=50m/s,期望吞吐量 100m/s;
分区数=100 / 20 =5 分区
https://blog.csdn.net/weixin_42641909/article/details/89294698
分区数一般设置为:3-10 个

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐