参考文章： 

Kafka集群部署

• Kafka 2.8.0版本: 实现了 Raft 分布式一致性机制, 弃用zookeeper,
• Zookeeper-less Kafka 还属于早期版本, 并不完善, 所以, 现在不要应用在线上产品环境中。
• 1.7版本的jdk只能支持kafka 2.0.0之前的版本;    
• 早期版本(3.x以下): Kafka支持java8, 11和15(即将为16);
• Kafka3.x版本: 弃用java8, 但依然可用, 官方建议更新至java11, 未来将支持jdk11, jdk16, jdk16, jdk17(非LTS版本);
• 展望Kafka4.0:完全放弃java8 

一、下载kafka

下载地址：Apache Kafka

https://downloads.apache.org/kafka/3.4.0/kafka_2.12-3.4.0.tgz

不要下载源码，下载编译过的

二、安装kafka集群

2.1 前提条件

1、部署Kafka集群搭建需要服务器至少3台，奇数台

2、Kafka的安装需要java环境，jdk1.8

3、Kafka安装包版本：kafka_2.12-3.4.0.tgz

4、假设3台服务器分别为：kafka1、kafka2、kafka3

kafka服务器名	IP	域名
kafka1	192.168.172.134	kafka1.sd.cn
kafka2	192.168.172.141	kafka2.sd.cn
kafka3	192.168.172.142	kafka3.sd.cn

5、增加host配置：

2.2 基于Zookeeper集群搭建

直接使用kafka自带的zookeeper建立zk集群

1、将安装包kafka_2.12-3.4.0.tgz上传到/opt 目录下

2、解压：tar -xf kafka_2.12-3.4.0.tgz

3、进入目录：cd /opt/kafka_2.12-3.4.0/

4、创建zookeeper目录：mkdir zk_kfk_data

5、进入目录：cd /opt/kafka_2.12-3.4.0/config

6、修改zookeeper.properties文件：

三台机器上的zookeeper.properties文件配置相同，data.Dir 为zk的数据目录，server.1、server.2、server.3 为集群信息。

2888端口号是zookeeper服务之间通信的端口

3888端口是zookeeper与其他应用程序通信的端口。

tickTime：CS通信心跳数

Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。

      tickTime以毫秒为单位。

      tickTime：该参数用来定义心跳的间隔时间，zookeeper的客户端和服务端之间也有和web开发里类似的session的概念，而zookeeper里最小的session过期时间就是tickTime的两倍。

initLimit：LF初始通信时限

集群中的follower服务器(F)与leader服务器(L)之间 初始连接 时能容忍的最多心跳数（tickTime的数量）

syncLimit：LF同步通信时限

集群中的follower服务器(F)与leader服务器(L)之间 请求和应答 之间能容忍的最多心跳数（tickTime的数量）

7、创建myid文件：

进入/opt/kafka_2.12-3.4.0/zk_kfk_data目录，创建myid文件，将三台服务器上的myid文件分别写入1，2，3。myid是zookeeper集群用来发现彼此的标识，必须创建，且不能相同。

8、执行启动zookeeper命令：

nohup /opt/kafka_2.12-3.4.0/bin/zookeeper-server-start.sh /opt/kafka_2.12-3.4.0/config/zookeeper.properties &>> /opt/kafka_2.12-3.4.0/zookeeper.log &

三台机器都执行启动命令，查看zookeeper的日志文件，没有报错就说明zookeeper集群启动成功了。

2.3 Kafka集群搭建(摒弃Zookeeper)

2.3.1 修改配置文件

1、创建kafka日志数据目录：mkdir /data/logs/kafka -p
2、进入目录：cd /opt/kafka_2.12-3.4.0/config/kraft/
3、修改server.properties配置文件：

修改参数如下：

参数名称	参数值	备注
broker.id	0	broker.id的值三个节点要配置不同的值，分别配置为0，1，2
advertised.host.name	kafka1.sd.cn	在hosts文件配置kafka1域名，另外两台分别为：kafka2.sd.cn，kafka3.sd.cn
advertised.port	9092	默认端口，不需要改
log.dirs	/opt/kafka_2.11-0.10.0.1/kafka-logs-1	Kafka日志数据目录
num.partitions	40	分区数，根据自行修改
log.retention.hours	24	日志保存时间
zookeeper.connect	kafka1.sd.cn:3181,kafka2.sd.cn:3181,kafka3.sd.cn:3181	zookeeper连接地址，多个以逗号隔开

2.3.2 初始化部署集群

1、初始化集群

# 1. 生成本次安装的集群统一UUID号：
$. /opt/kafka_2.12-3.4.0/bin/kafka-storage.sh random-uuid
q9ztDs1fQ-OsoBYlYoJykw

# 2. 根据集群id，初始化元数据(各个节点均执行)：
$. /opt/kafka_2.12-3.4.0/bin/kafka-storage.sh format \
-t q9ztDs1fQ-OsoBYlYoJykw \
-c /opt/kafka_2.12-3.4.0/config/kraft/server.properties

# use
bin/kafka-storage.sh format \
-t x4-gd5zeRRS-g-c_yH6q3A \
-c /opt/kafka_2.12-3.4.0/config/kraft/server.properties  --ignore-formatted

注意：集群中的每台机器上均执行相同操作，如果集群ip地址发生变化，也要重新执行初始化集群的操作，否则报错：

[2022-05-01 17:16:57,982] ERROR [RaftManager nodeId=1] Unexpected error INCONSISTENT_CLUSTER_ID in VOTE response: InboundResponse(correlationId=38, data=VoteResponseData(errorCode=104, topics=[]), sourceId=2) (org.apache.kafka.raft.KafkaRaftClient)
[2022-05-01 17:16:58,008] ERROR [RaftManager nodeId=1] Unexpected error INCONSISTENT_CLUSTER_ID in VOTE response: InboundResponse(correlationId=39, data=VoteResponseData(errorCode=104, topics=[]), sourceId=2) (org.apache.kafka.raft.KafkaRaftClient)
[2022-05-01 17:16:58,036] ERROR [RaftManager nodeId=1] Unexpected error INCONSISTENT_CLUSTER_ID in VOTE response: InboundResponse(correlationId=40, data=VoteResponseData(errorCode=104, topics=[]), sourceId=2) (org.apache.kafka.raft.KafkaRaftClient)
[2022-05-01 17:16:58,064] ERROR [RaftManager nodeId=1] Unexpected error INCONSISTENT_CLUSTER_ID in VOTE response: InboundResponse(correlationId=41, data=VoteResponseData(errorCode=104, topics=[]), sourceId=2) (org.apache.kafka.raft.KafkaRaftClient)
[2022-05-01 17:16:58,087] ERROR [RaftManager nodeId=1] Unexpected error INCONSISTENT_CLUSTER_ID in VOTE response: InboundResponse(correlationId=42, data=VoteResponseData(errorCode=104, topics=[]), sourceId=2) (org.apache.kafka.raft.KafkaRaftClient)
[2022-05-01 17:16:58,111] ERROR [RaftManager nodeId=1] Unexpected error INCONSISTENT_CLUSTER_ID in VOTE response: InboundResponse(correlationId=43, data=VoteResponseData(errorCode=104, topics=[]), sourceId=2) (org.apache.kafka.raft.KafkaRaftClient)
[2022-05-01 17:16:58,134] ERROR [RaftManager nodeId=1] Unexpected error INCONSISTENT_CLUSTER_ID in VOTE response: InboundResponse(correlationId=44, data=VoteResponseData(errorCode=104, topics=[]), sourceId=2) (org.apache.kafka.raft.KafkaRaftClient)
[2022-05-01 17:16:58,162] ERROR [RaftManager nodeId=1] Unexpected error INCONSISTENT_CLUSTER_ID in VOTE response: InboundResponse(correlationId=45, data=VoteResponseData(errorCode=104, topics=[]), sourceId=2) (org.apache.kafka.raft.KafkaRaftClient)

2、 启动kafka集群：

$. /opt/kafka_2.12-3.4.0/bin/kafka-server-start.sh \
-daemon \
/opt/kafka_2.12-3.4.0/config/server.properties &>> \
/opt/kafka_2.12-3.4.0/kafka.log &

# 参考
./bin/kafka-server-start.sh  -daemon ./config/kraft/server.properties &

三个节点均要启动；启动无报错，即搭建成功。

Kafka集群节点服务管理命令：

# 启动kafka集群
/opt/kafka_2.12-3.4.0/bin/kafka-server-start.sh \
/opt/kafka_2.12-3.4.0/config/kraft/server.properties

# 停止运行
/opt/kafka_2.12-3.4.0/bin/kafka-server-stop.sh \
/opt/kafka_2.12-3.4.0/config/kraft/server.properties

# 后台运行
cd /opt/kafka_2.12-3.4.0
.bin/kafka-server-start.sh  -daemon ./config/kraft/server.properties &

2.4 测试Kafka集群

2.4.1 创建topic：test

/opt/kafka_2.12-3.4.0/bin/kafktopics.sh --create --zookeeper kafka1.sd.cn:3181,kafka2.sd.cn:3181,kafka3.sd.cn:3181 --replication-factor 1 --partitions 1 --topic test

2.4.2 列出已创建的topic列表

/opt/kafka_2.12-3.4.0/bin/kafka-topics.sh --list --zookeeper localhost:3181

2.4.3 模拟客户端去发送消息

/opt/kafka_2.12-3.4.0/bin/kafka-console-producer.sh --broker-list kafka1.sd.cn:9092,kafka2.sd.cn:9092,kafka3.sd.cn:9092 --topic test

2.4.4 模拟客户端去接受消息

/opt/kafka_2.12-3.4.0/bin/kafka-console-consumer.sh --zookeeper kafka1.sd.cn:3181,kafka2.sd.cn:3181,kafka3.sd.cn:3181 --from-beginning --topic test

三、Kafka的一些基本命令

3.1 基于zookeeper的命令

#启动zk
bin/zookeeper-server-start.sh  config/zookeeper.properties

#启动kafka
bin/kafka-server-start.sh config/server.properties

#创建tocic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

#查询topic列表
bin/kafka-topics.sh --list --zookeeper localhost:2181

#启动 Producer
bin/kafka-console-producer.sh --broker-list 192.168.100.129:9092 --topic test

#启动 Consumer
bin/kafka-console-consumer.sh --bootstrap-server 192.168.100.129:9092 --topic test --from-beginning

#topic的信息
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

 3.2 无Zookeeper的Kafka集群

# 创建topic
bin/kafka-topics.sh \
--create \
--topic quickstart-events \
--bootstrap-server 110.112.0.134:9092,110.112.0.135:9092,110.112.0.136:9092

# 查看topic列表
bin/kafka-topics.sh \
--list \
--bootstrap-server 110.112.0.134:9092,110.112.0.135:9092,110.112.0.136:9092

# 查看消息详情
bin/kafka-topics.sh \
--describe \
--topic quickstart-events \
--bootstrap-server 110.112.0.134:9092,110.112.0.135:9092,110.112.0.136:9092

# 生产消息
bin/kafka-console-producer.sh \
--topic quickstart-events \
--bootstrap-server 110.112.0.134:9092,110.112.0.135:9092,110.112.0.136:9092

# 消费消息
bin/kafka-console-consumer.sh \
--topic quickstart-events \
--from-beginning \
--bootstrap-server 110.112.0.134:9092,110.112.0.135:9092,110.112.0.136:9092

# 查看消费者组
bin/kafka-consumer-groups.sh \
--bootstrap-server localhost:9092 \
--describe \
--group my-group

# 查看消费者组列表
bin/kafka-consumer-groups.sh \
--bootstrap-server 110.112.0.134:9092,110.112.0.135:9092,110.112.0.136:9092 \
--list

四、安装Kafka单机(测试使用)

将kafka上传到 Linux里面并解压,kafka需要JDK的环境。

#解压kafka
tar -xf kafka_2.12-3.4.0.tgz

#重命名
mv kafka_2.12-3.4.0 kafka

配置config下面的server.properties文件

broker.id=1    #改为1

增加ip映射，如果不增加就是locahost。这样没办法使用java连接
host.name=192.168.100.129

# 启动kafka集群
/opt/kafka_2.12-3.4.0/bin/kafka-server-start.sh \
/opt/kafka_2.12-3.4.0/config/kraft/server.properties
 
# 停止运行
/opt/kafka_2.12-3.4.0/bin/kafka-server-stop.sh \
/opt/kafka_2.12-3.4.0/config/kraft/server.properties
 
# 后台运行
cd /opt/kafka_2.12-3.4.0
.bin/kafka-server-start.sh  -daemon ./config/kraft/server.properties &