大数据运维实战第二十三课通过 Kafka Eagle 实现对 Kafka 消息队列的监控

由于 Kafka Eagle 比 Kafka Manager 更简单、更好用，所以这一课时将重点介绍 Kafka Eagle 这款 Kafka 可视化管理工具。是一款用来管理 Kafka 集群的可视化工具，它可以支持管理多个 Kafka 集群，还可以管理 Kafka 的 Topic（查看、删除、创建等），也可以对消费者状态进行监控，并可实现消息阻塞告警、集群健康状态检测等功能。

办公模板库素材蛙

940人浏览 · 2022-08-20 09:14:19

办公模板库素材蛙 · 2022-08-20 09:14:19 发布

在企业实际应用中，如果业务比较复杂，那么管理的 Consumer Group 和 Topic 数也会随之增加，此时如果再使用 Kafka 提供的命令行工具，可能会出现力不从心的感觉。

因此，我们需要一款更加智能的 Kafka 监控系统，目前企业使用比较多的有 Kafka Manager、Kafka Eagle 等。

Kafka Eagle 介绍

由于 Kafka Eagle 比 Kafka Manager 更简单、更好用，所以这一课时将重点介绍 Kafka Eagle 这款 Kafka 可视化管理工具。

Kafka Eagle 是一款用来管理 Kafka 集群的可视化工具，它可以支持管理多个 Kafka 集群，还可以管理 Kafka 的 Topic（查看、删除、创建等），也可以对消费者状态进行监控，并可实现消息阻塞告警、集群健康状态检测等功能。

Kafka Eagle 安装

点击这里下载 Kafka-Eagle 安装包，我下载的是 kafka-eagle-bin-2.0.0.tar.gz 版本，下载完成后，将安装包解压到 172.16.213.151 主机上，即可完成安装，操作如下：

[root@nnmaster ~]#tar zxvf kafka-eagle-bin-2.0.0.tar.gz
[root@nnmaster ~]#cd kafka-eagle-bin-2.0.0
[root@nnmaster kafka-eagle-bin-2.0.0]# tar zxvf kafka-eagle-web-2.0.0-bin.tar.gz -C /usr/local
[root@nnmaster kafka-eagle-bin-2.0.0]# mv /usr/local/kafka-eagle-web-2.0.0   /usr/local/kafka-eagle
[root@nnmaster kafka-eagle-bin-2.0.0]# chown -R kafka:kafka /usr/local/kafka-eagle

上面这个操作步骤是解压 Kafka Eagle，然后安装到 /usr/local 目录下，最后，授权 kafka-eagle 目录为 Kafka 用户权限，后面的管理配置操作都通过 Kafka 用户来完成。

Kafka Eagle 安装完成后，还需要配置 Java 环境变量和设置 Kafka Eagle 目录，将下面内容加入 /home/kafka/.bashrc 文件中：

export KE_HOME=/usr/local/kafka-eagle
export PATH=$PATH:$KE_HOME/bin
export JAVA_HOME=/opt/bigdata/jdk

配置完成，执行 source /home/kafka/.bashrc 命令，使配置生效。

最后一个步骤，需要安装一个数据库，因为 Kafka Eagle 需要数据库的支持，这里我采用 MySQL 数据库，版本为 mysql5.7.30，不过安装过程这里不再介绍。安装完成后，需要做如下配置和授权：

mysql> create database ke character set utf8;
mysql> create user 'root'@'172.16.213.151' identified by 'xxxxxx';
mysql> grant all privileges on ke.* to 'root'@'172.16.213.151';
mysql> flush privileges;

在这个步骤中，首先创建了一个 ke 库，是给 Kafka Eagle 使用的，然后创建了一个 root 用户，并给 root 用户授权给管理 ke 库，最后刷新配置生效。

配置 Kafka Eagle 监控 Kafka 集群

Kafka Eagle 的配置文件位于 $KE_HOME/conf/ 目录下，配置文件为 system-config.properties，配置完成的文件内容如下：

kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=172.16.213.152:2181,172.16.213.138:2181,172.16.213.80:2181
kafka.zk.limit.size=25
kafka.eagle.webui.port=8048
cluster1.kafka.eagle.offset.storage=kafka
kafka.eagle.metrics.charts=true
kafka.eagle.metrics.retain=15
kafka.eagle.sql.topic.records.max=5000
kafka.eagle.sql.fix.error=true
kafka.eagle.topic.token=keadmin
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://172.16.213.151:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456

其中，每个配置项含义如下。

kafka.eagle.zk.cluster.alias：用来指定需要配置的 Kafka 集群名称，可以配置多个，用逗号分隔。
cluster1.zk.list：用来配置多个 Kafka 集群所对应的 ZooKeeper 集群列表。注意这个写法，这是配置 cluster1 集群，如果有多个集群，依次填写每个 Kafka 集群对应的 ZooKeeper 集群列表即可。
kafka.zk.limit.size：设置 ZooKeeper 客户端最大连接数。
kafka.eagle.webui.port：设置 Kafka Eagle 的 Web 访问端口，默认是 8048。
cluster1.kafka.eagle.offset.storage：设置存储消费信息的类型，一般在 Kafka0.9 版本之前，消费信息会默认存储在 ZooKeeper 中，所以存储类型设置 zookeeper 即可。如果你使用的是 Kafka0.10 之后的版本，那么，消费者信息默认存储在 Kafka 中，所以存储类型需要设置为 kafka。同时，在使用消费者 API 时，尽量保证客户端 Kafka API 版本和 Kafka 服务端的版本一致。
kafka.eagle.metrics.charts：设置是否开启 Kafka Eagle 的监控趋势图，默认是不启用方式，如果需要查看 Kafka 监控趋势图，则需要设置为 true。
kafka.eagle.metrics.retain：设置数据默认保留时间，这里的 15 表示 15 天。
kafka.eagle.sql.fix.error：在使用 KSQL 查询 Topic 时，如果遇到错误，可以开启这个属性，默认不开启。
kafka.eagle.sql.topic.records.max：KSQL 查询 Topic 数据默认是最新的 5000 条，如果在使用 KSQL 查询的过程中出现异常，可以将 kafka.eagle.sql.fix.error 的值设置为 true，Kafka Eagle 会在系统中自动修复错误。1
kafka.eagle.topic.token：设置在删除 Kafka Topic 时的 Token 令牌，需要记住这个值。
kafka.eagle.driver：设置连接数据库的驱动信息。
kafka.eagle.url：设置 jdbc 连接 MySQL 数据库的地址。
kafka.eagle.username：设置连接到 MySQL 数据库的用户名。
kafka.eagle.password：设置连接到 MySQL 数据库的用户密码。

上面配置中，我开启了 Kafka Eagle 的监控趋势图，因此，还需要开启 Kafka 系统的 JMX 端口，默认 Kafka 没有开启 JMX 端口，可修改 Kafka 启动脚本 kafka-server-start.sh，添加如下内容：

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
    export JMX_PORT="9999"
fi

注意，这个 9999 端口可修改为任意其他端口。在 Kafka 集群中所有节点添加这个配置，添加完成后，重启所有 Kafka 集群节点以使配置生效。

Kafka Eagle 使用

1.启动 Kafka Eagle 服务

所有配置完成后，就可以启动 Kafka Eagle 服务了，执行如下命令启动服务：

[kafka@nnmaster kafka-eagle]$  cd /usr/local/kafka-eagle/bin
[kafka@nnmaster bin]$ ./ke.sh  start
[kafka@nnmaster bin]$ jps
7557 Jps
15855 KafkaEagle

服务启动成功后，可以看到有个 KafkaEagle 进程标识，表示启动成功，要查看 Kafka Eagle 启动日志，可访问 Kafka Eagle 的 logs 目录，主要查看 log.log、error.log 及 ke_console.out 三个文件。如果启动失败，文件中会有失败信息及失败原因。

要关闭 Kafka Eagle 服务，执行“./ke.sh stop”即可。

Kafka Eagle 服务启动后，即可打开 Web 界面，默认 Web 登录用户名为 admin，密码为 123456，登录端口为 8048，访问 http://172.16.213.151:8048 地址即可打开登录界面。