一、相关环境

1、centos7

2、CDH6.3.2

3、JDK1.8.0_271

二、安装KAFKA

1、进入CM管理主页面(点击红色方框，添加服务)

2、选择KAFKA点击继续

3、选择broker节点

 4、可以全部默认配置直接下一步

三、KAFKA常用相关命令

1、创建主题

kafka-topics --create --zookeeper 192.168.2.1:2181 --replication-factor 2 --partitions 3 --topic test5

2、查看所有主题

kafka-topics --zookeeper 192.168.2.1:2181 --list

3、删除主题

kafka-topics --zookeeper 192.168.2.1:2181 --delete  --topic test 

此方法只删除主题，没删除物理文件，主题列表将显示test - marked for deletion

彻底删除主题的方法：

1、进入zookeeper-client

ls /broker/topics

deleteall /broker/topics/{主题名}

4、创建生产者

kafka-console-producer.sh --broker-list 192.168.2.2:9092 --topic test

5、创建消费者

kafka-console-consumer.sh --bootstrap-server 192.168.2.2:9092 --topic test --from-beginning

踩坑记录：

 1、报错

ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 2 larger than available brokers: 0.

原因：配置ZooKeeper.chroot后，kafka命令--zookeeper需要在节点后增加该参数配置

如:192.168.1.2:2182/kafka

另该参数可以不配置

 2、报错

ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 3 larger than available brokers: 2.

原因：创建主题选择的replication-factor大于kafka集群broker节点数