Kafka集群搭建配置与eagle监控界面
安装前的环境准备由于Kafka是用Scala语言开发的,运行在JVM上,因此在安装Kafka之前需要先安装JDK。kafka依赖zookeeper,所以需要先安装zookeeperkafka的图形界面有这么几种:可以参见我云雀笔记这里就不一一给大家叙述了:kafka图形界面介绍安装......
·
kafka集群环境搭建
首先在多台机器上搭建配置Kafka环境,可以参考Kafak环境搭建:
集群搭建配置
对于kafka来说,一个单独的broker意味着kafka集群中只有一个节点。要想增加kafka集群中的节点数量,只需要多启动几个broker实例即可。为了有更好的理解,现在我们在一台机器上同时启动三个broker例。
首先,我们需要建立好其他2个broker的配置文件:
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties
配置文件需要修改的内容分别如下:
config/server-1.properties:
#broker.id属性在kafka集群中必须要是唯一
broker.id=1
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://192.168.36.131:9093
log路径
log.dir=/usr/local/data/kafka-logs-1
#kafka连接zookeeper的地址,要把多个kafka实例组成集群,对应连接的zookeeper必须相同 zookeeper.connect=192.168.36.131:2181
config/server-2.properties:
broker.id=2
listeners=PLAINTEXT://192.168.36.131:9094
log.dir=/usr/local/data/kafka-logs-2
zookeeper.connect=192.168.36.131:2181
启动两个broker结点:
bin/kafka-server-start.sh -daemon config/server-1.properties
bin/kafka-server-start.sh -daemon config/server-2.properties
Kafka-Eagle 安装
修改 kafka-server-start.sh 命令中的 jvm参数
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
为
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -
XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -
XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -
XX:InitiatingHeapOccupancyPercent=70"
export JMX_PORT="9999"
#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
下载kafka-eagle
官网:https://www.kafka-eagle.org/
解压配置 环境变量
export KE_HOME=/soft/eagle3.0.1
export JAVA_HOME=/soft/java
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$KE_HOME/bin
修改 eagle配置文件
vim conf/system-config.properties
修改数据库配置信息
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://node02:33306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=root
启动/关闭eagle
bin/ke.sh start
bin/ke.sh stop
更多推荐
已为社区贡献3条内容
所有评论(0)