简介

kcat, 又称为 kafkacat,是一款非 JVM 的 Kafka 消息生产和消费的命令行工具,适用于 Kafka 0.8 及以上版本。

github地址:
https://github.com/edenhill/kcat

生产者模式:kcat 从标准输入读取数据,-D 指定分割符,把数据发送到Kafka 集群,-b 指定集群地址, -t 指定topic名称, -p 指定分区

消费者模式:kcat 从指定的 topic 和 partition 消费数据,并打印到标准输出。

kcat 还支持打印 Kafka 集群的状态,topics,pairtions 信息。

安装方式

1. Ubuntu 环境

sudo apt-get update
sudo apt-get install kafkacat

2. MacOS 环境

brew install kcat

3. 从源码编译安装

git clone https://github.com/edenhill/kcat.git
cd kcat
./configure
make
make install

使用

Ubuntu 中使用 kafkacat, 在 MacOS 中使用 kcat, 如果是源码方式安装也是使用 kcat

1. 生产者

常用参数:
-P: 说明以生产者模式运行
-b : Kafka集群地址,端口为9092时可省略端口
-t: topic名称
-p: 分区编号
-z: 压缩格式,如snappy

示例:
读取 /var/log/syslog 文件的数据,数据写到“syslog” 主题

tail -f /var/log/syslog | kafkacat -b mybroker -t syslog -P

2. 消费者

常用参数:
-P: 说明以消费者模式运行
-b : Kafka集群地址,端口为9092时可省略端口
-t: topic名称
-p: 分区编号
-J: 以 Json 格式打印数据

示例:

#消费 syslog 所有数据
kafkacat -C -b mybroker -t syslog

#消费 syslog 最近2000条数据
kafkacat -C -b mybroker -t syslog -p 0 -o -2000 -e

#消费 mytopic 指定时间戳的数据
kafkacat -b mybroker -C -t mytopic -o s@1568276612443 -o e@1568276617901

#消费多个 topic
kafkacat -b mybroker -G mygroup topic1 topic2

3. Kafka信息查询

# 查询给定时间戳对应的 offset
kafkacat -b mybroker -Q -t mytopic:3:2389238523 -t mytopic2:0:18921841

#打印 Kafka 集群所有元数据信息
kafkacat -L -b mybroker

# 以 Json 格式打印 Kafka 集群所有元数据信息
kafkacat -b mybroker -L -J | jq .
Logo

华为云1024程序员节送福利,参与活动赢单人4000元礼包,更有热门技术干货免费学习

更多推荐