零、主流kafka可视化工具有两种

①安装在本地的服务,通过网络连接kafka拉取数据并展示 比如:offsetexplorer 应用

②安装在服务器上应用,通过服务器自行拉取代码,对外提供Web,查看kafka的状态及数据。比如:kafdrop应用

一、本地服务 offsetexplorer

1、去kafkatool官网下载Offset Explorer,可以安装windows版本或者linux版本

下载安装

2、启动配置

后续就可以查看topic数据

 修改文字类型如图

 就可以正常看到数据了

二、Web服务 kafdrop

1、主要功能:

1、查看Kafka代理 -主题和分区分配以及控制器状态

2、查看主题 -分区数,复制状态和自定义配置

3、浏览消息 -JSON,纯文本和Avro编码

4、查看消费者组 -每个分区的停放偏移量,合并延迟和每个分区滞后

5、创建新主题

6、查看ACL

2、安装步骤

①安装jdk11

②安装zookeeper

③安装kafka

④kafdrop源码下载

1、源码地址:github地址:GitHub - obsidiandynamics/kafdrop: Kafka Web UIhttps://github.com/obsidiandynamics/kafdrop
git仓 https://github.com/obsidiandynamics/kafdrop.git​​​​​​https://github.com/obsidiandynamics/kafdrop.git

2、IDEA中使用maven打包成jar包

3、启动jar包带着以下命令

java --add-opens=java.base/sun.nio.ch=ALL-UNNAMED -jar kafdrop-3.29.0.jar --kafka.brokerConnect=1.2.3.4:9092
4、启动命令

startup.sh

java --add-opens=java.base/sun.nio.ch=ALL-UNNAMED -jar kafdrop-3.29.0.jar --kafka.brokerConnect=1.2.3.4:9092

restart.sh

ps -ef | grep kafdrop-3.29.0.jar | grep -v grep | awk '{print $2}' | xargs kill -9
rm -rf nohup.out
nohup ./startup.sh > nohup.out &

3、启动完成后

页面访问 1.2.3.4:9000 可以看到kafka集群页面。可以创建topic,删除topic,查看数据,查看分区等操作

三、kafka常用排错命令


kafka-topics.sh --create --bootstrap-server 1.2.3.4:9092 --replication-factor 3 --partitions 3 --topic test

kafka-topics.sh --list --bootstrap-server 1.2.3.4:9092

./kafka-consumer-groups.sh  --bootstrap-server 1.2.3.4:9092  --list 查询group列表
./kafka-consumer-groups.sh --bootstrap-server 1.2.3.4:9092   --describe --group test-group 查询group消费者情况

 上篇文章:从零开始 kafka集群部署,拒绝挖坑,每一步都经过本人调试成功

 kafka简介与集群部署安装(一)kafka简介与集群部署安装(一)_无敌小田田的博客-CSDN博客零、坐标火星,leader让研究一下kafka+websocket做一套即时通讯工具出来,需求紧急,调研了一番。一、Kafka简介1、消息队列(Message Queue)Message Queue消息传送系统提供传送服务。消息传送依赖于大量支持组件,这些组件负责处理连接服务、消息的路由和传送、持久性、安全性以及日志记录。消息服务器可以使用一个或多个代理实例。JMS(Java Messaging Service)是Java平台上有关面向消息中间件(MOM)的技术规范,它便于消息系统中的Javhttps://blog.csdn.net/qq_36602951/article/details/121175749kafka使用+集成Java(二)

kafka使用+集成Java(二)_无敌小田田的博客-CSDN博客零、kafka集成已经整合完毕,接下来要做的就是和java打通一、https://blog.csdn.net/qq_36602951/article/details/121317250kafka+websocket示例(三)

https://blog.csdn.net/qq_36602951/article/details/121325381https://blog.csdn.net/qq_36602951/article/details/121325381

完成前三步之后,后续就可以根据业务来定制不同的功能了,

接下来将扩展websocket功能

SpringBoot+websocket构造聊天室(四)

(18条消息) SpringBoot+websocket构造聊天室(四)_无敌小田田的博客-CSDN博客https://blog.csdn.net/qq_36602951/article/details/121436617第六步:kafka实现消息队列 简单应用

kafka实现应用之间消息队列实战(六)_无敌小田田的博客-CSDN博客零、聊天室计划取消,应用中有一个场景应用到了kafka消息队列,在主服务中会有用户注册的操作,后续需要给用户推送相关的消息发送短信。于是分为两个服务,第一个为用户服务负责注册用户,注册完后将用户保存到kafka队列中,第二个消息服务会从kafka队列拿用户信息,来进行后续的追踪。一、代码1、配置文件#kafka地址spring.kafka.longze.bootstrap-servers=10.20.30.40:9092#kafka组spring.kafka.longze.cust.grhttps://blog.csdn.net/qq_36602951/article/details/123151570
第七步:kafka可视化工具整理

https://blog.csdn.net/qq_36602951/article/details/123198590https://blog.csdn.net/qq_36602951/article/details/123198590

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐