1.在上一篇虚拟机搭建好之后，需要安装一下基本配置文件：

参考文档：https://blog.csdn.net/niuxikun/article/details/107833113

2.下面开始搭建Dbus平台：在   /home/csap  路径下搭建Dbus平台

（输入pwd查看当前目录路径）

搭建Dbus需要的组件有

 

 

注意：还需要额外安装nginx

  • 基础组建：
    • zookeeper 3.4.6  （集群都装）
    • kafka 0.10.0.0     （集群都装）
    • storm 1.0.1          （集群都装）
    • granfana 4.2.0
    • logstash 5.6.1
    • influxdb （需要单独安装， 参考如下步骤3）
    • mysql （需要单独安装，参考如下步骤2）        （集群都装）
  • dbus相关包：
    • dbus-keeper 0.5.0
    • dbus-stream-main 0.5.0
    • dbus-router 0.5.0
    • dbus-heartbeat 0.5.0
    • dbus-log-processor 0.5.0
  • mysql数据源所需：
    • canal

 

 

 

JDK安装

3.在三个节点安装jdk，版本：jdk-8u121-linux-x64.tar.gz  （jdk安装路径：/home/csap/jdk）

 

解压jdk：

tar -zxvf jdk-8u121-linux-x64.tar.gz

解压之后：

下面配置jdk路径：（修改路径：/etc/profile）

vim profile

添加如下代码：

export JAVA_HOME=/home/csap/jdk/jdk1.8.0_121

export  CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/

export  PATH=$PATH:$JAVA_HOME/bin

修改完之后还要输入：

source profile

使代码生效。

结果如下：

jdk搭建完成。

 

修改hostname

输入：hostname    （修改为Dbus1，其他两个子节点也都需要改）

输入以下代码：

hostname Dbus1

再次输入：hostname

修改成功。

 

修改etc/hosts文件

在etc目录下修改hosts文件：

vim hosts

添加下列代码：（三个节点都是）

192.168.193.128 Dbus1
192.168.193.129 Dbus2
192.168.193.130 Dbus3

检测：

ping Dbus2

效果如下：

 

三个节点配置免密登录

执行命令：（生成秘钥）

ssh-keygen  -t   rsa   -P  ''

生成的秘钥在   /root/.ssh   目录下。

输入：

ll -a 

查看隐藏文件

cd .ssh

进入.ssh目录下：

查看：

ll

秘钥在id_rsa.pub里

编辑文档：

vim id_rsa.pub

把三个节点的秘钥都复制一下：

在  .ssh 目录下新建authorized_keys文件存放（三个节点的秘钥）

新建authorized_keys指令：

touch  /root/.ssh/authorized_keys

ll即可查看。

编辑：

vim authorized_keys

复制三个秘钥。

三个都弄完之后，进行测试。

第一个节点：

成功：

输入：exit  退回。

秘钥配置完毕。

 

安装mysql：

复制以下代码：

yum -y install wget
 
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
 
rpm -ivh mysql-community-release-el7-5.noarch.rpm
 
yum install mysql-server

查看端口号：

netstat -tnlp

开始安装：

mysql_secure_installation

进入mysql

mysql -uroot -pnxk123456

如图所示：

mysql文件位置：

数据库存储目录：/var/lib/mysql
配置文件：/etc/my.cnf

查看mysql版本：

在mysql内输入：

select version();

如图所示：

退出mysql：

exit；

 

如果在安装mysql的过程中报错，无法连接mysql，查看端口没有3306，

解决办法：重启mysql：

service  mysqld  restart

 

安装zookeeper （三个节点都需要装）

这里使用的版本：zookeeper-3.4.8

解压：

在   /home/csap/zookeeper/zookeeper-3.4.8   目录下新建  data，logs   两个文件夹

进入/home/csap/zookeeper/zookeeper-3.4.8/conf目录，把zoo_sample.cfg文件复制一份名字改成zoo.cfg。

修改zoo.cfg文件，添加内容如下

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/home/csap/zookeeper/zookeeper-3.4.8/data

dataLogDir=/home/csap/zookeeper/zookeeper-3.4.8/logs

clientPort=2181

maxSessionTimeout=120000

autopurge.snapRetainCount=2

autopurge.purgeInterval=3

server.1=192.168.193.128:2888:3888

server.2=192.168.193.129:2888:3888

server.3=192.168.193.130:2888:3888

分别在三台主机的  /home/csap/zookeeper/zookeeper-3.4.8/data  目录下新建myid文件

如图：

分别写入0、1、2

 

将配置好的zookeeper复制到另外两台服务器上。（把整个zookeeper文件复制粘贴到另外两个节点服务器下）

scp -r /home/csap/zookeeper/ root@192.168.193.129:/home/csap


scp -r /home/csap/soft/zookeeper/ csap@172.22.244.14:/home/csap/soft

记得修改另外两台虚拟机的myid

在   /home/csap/zookeeper/zookeeper-3.4.8/bin  目录下启动：

启动服务：

./zkServer.sh start

重启服务：

./zkServer.sh restart

查看服务状态：

./zkServer.sh status

查看jps：

查看端口：

netstat -tunlp|egrep "()"

2181存在

 

搭建kafka组件

kafka版本：kafka_2.11-0.11.0.2

 

修改：/home/csap/kafka/kafka_2.11-0.11.0.2/config/server.properties

添加如下：

#一、broker通用配置
broker.id=0
port=9092
host.name=192.168.134.138    //其他两个结点也都需要改
log.dirs=/home/csap/kafka/kafka_2.11-0.11.0.2/kafka-logs
delete.topic.enable=true
auto.create.topics.enable=false
num.partitions=5
#二、zk配置
zookeeper.connect=192.168.134.138:2181,192.168.134.139:2181,192.168.134.140:2181
zookeeper.connection.timeout.ms=6000
#三、网络与线程配置优化
num.network.threads=2
num.io.threads=2
#四、socket优化(默认)
#socket.send.buffer.bytes=102400
#socket.receive.buffer.bytes=102400
#socket.request.max.bytes=104857600
#五、存储优化
#num.recovery.threads.per.data.dir=1
#log.retention.hours=168
#log.segment.bytes=1073741824
#log.retention.check.interval.ms=300000
#六、replica复制优化配置
replica.fetch.max.bytes=5242880
replica.lag.max.messages=400000
replica.log.time.max.ms=60000
num.replica.fetchers=6
replica.fetch.wait.max.ms=3000
#七、其他优化配置
#auto.leader.rebalance.enable=true
message.max.bytes=524880

把第一台虚拟机的kafka配置复制到其他两台：

scp -r /home/csap/kafka/  root@192.168.134.139:/home/csap

scp -r /home/csap/soft/kafka/ csap@172.22.244.14:/home/csap/soft

在bin目录下启动kafka   目录：  /home/csap/kafka/kafka_2.11-0.11.0.2/bin

./kafka-server-start.sh ../config/server.properties &

输入jps查看：已有kafka

 

 

搭建storm  

strom版本：apache-storm-1.2.2.tar.gz

解压：

tar -zxvf apache-storm-1.2.2.tar.gz

配置storm.yaml

路径：/home/csap/storm/apache-storm-1.2.2/conf/storm.yaml

配置内容：（提醒一点：下面这个配置每一行都必须有一个空格，不然会报错）

 storm.zookeeper.servers:                     
     - "192.168.134.138"
     - "192.168.134.139"
     - "192.168.134.140"
 storm.zookeeper.port: 2181
 storm.zookeeper.root: /storm
 nimbus.host: "192.168.134.138"
 ui.port: 8989
 worker.heap.memory.mb: 512
 storm.local.dir: "/home/csap/storm/apache-storm-1.2.2/data" 
 supervisor.slots.ports:
     - 6700
     - 6701
     - 6702
     - 6703
     - 6704
     - 6705
     - 6706
     - 6707
     - 6708

 nimbus.thrift.max_buffer_size: 2048576
 
 worker.childopts: "-Xmx512m"

这里注意需要新建一个data目录：

配置完以后复制到另外两个虚拟机上：

scp -r /home/csap/storm/  root@192.168.134.139:/home/csap

scp -r /home/csap/soft/storm/ csap@172.22.244.14:/home/csap/soft
scp -r /home/csap/storm/  root@192.168.134.140:/home/csap

记得修改storm环境变量：路径：etc/profile

export STORM_HOME=/home/csap/storm/apache-storm-1.2.2

export PATH=$PATH:$STORM_HOME/bin

在  /home/csap/storm/apache-storm-1.2.2/bin  目录下启动storm：

主节点启动：

./storm nimbus  &

从节点启动：

./storm supervisor  &

主节点UI界面：

./storm  ui  &

主节点启动drpc进程：

./storm  drpc &

记得端口是8989.

storm页面如下：

 

nginx搭建

nginx版本：nginx-1.9.9

解压：

tar -zxvf nginx-1.9.9.tar.gz

安装依赖包：

yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel

进入nginx目录：

cd /home/csap/nginx/nginx-1.9.9

依次执行命令：

./configure

编译：

make

安装：

make install

配置文件在  /home/csap/nginx/nginx-1.9.9/conf/nginx.conf  目录  （可以不用配置，默认端口80）

需要注意的是nginx的启动目录在    /usr/local/nginx/sbin  这个是默认安装位置。

启动：

cd /usr/local/nginx/sbin
./nginx

查看状态：

ps -ef | grep  nginx

启动成功。

打开页面：     http://192.168.134.138:80

如图所示：

 

grafana安装

参考：https://blog.csdn.net/yaos829/article/details/103611032

grafana版本：grafana-6.7.1-1.x86_64.rpm

在  /home/csap/grafana  目录下安装

sudo yum localinstall grafana-6.5.2-1.x86_64.rpm

启动：

sudo service grafana-server start

配置grafana在服务器启动时启动

sudo /sbin/chkconfig --add grafana-server

取消grafana在服务器启动时启动

sudo systemctl enable grafana-server.service

第一次登录 grafana，在浏览器里输入 http://http://192.168.134.138/:3000 账号：admin 密码 admin。

需要修改端口等 grafana 配置，修改配置文件即可。

grafana 日志文件位置：/var/log/grafana

grafana 环境文件位置： /etc/sysconfig/grafana-server

grafana 配置文件位置： /etc/grafana/grafana.ini

启动成功之后页面：

grafana 安装之后需要配置：

（有一点需要注意，把grafana 里面的token复制粘贴到Dbus配置文件里面）

 

 

 

安装InfluxDB

influxdb安装版本：influxdb-1.3.5.x86_64.rpm

安装目录： /home/csap/influxdb

在influxdb-1.1.0.x86_64.rpm的存放目录下执行如下命令：

rpm -ivh influxdb-1.3.5.x86_64.rpm

启动：

service influxdb start

登陆influxdb

influx

初始化脚本，依次执行下列操作：

create database dbus_stat_db
use dbus_stat_db
CREATE USER "dbus" WITH PASSWORD 'dbus!@#123'
ALTER RETENTION POLICY autogen ON dbus_stat_db DURATION 15d

 

Dbus安装

版本：deployer-0.6.1.zip

Dbus安装目录：

/home/csap/soft/Dbus

解压：

tar -zxvf /home/csap/Dbus/deployer-0.6.1.zip

修改配置文件：config.properties

目录：/home/csap/soft/Dbus/deployer-0.6.1/conf

修改内容如下：

待写：XXXXXXXXXXXXXXXXXXXXXXXXX

在  /home/csap/Dbus/deployer-0.6.1/bin   目录下  

初始化：

./init-all.sh

成功

Logo
华为开发者空间

华为开发者空间，是为全球开发者打造的专属开发空间，汇聚了华为优质开发资源及工具，致力于让每一位开发者拥有一台云主机，基于华为根生态开发、创新。

更多推荐

cover

GaussDB(DWS) SQL性能问题案例集

avatar 华为开发者空间
cover

【GaussDB】 keep聚合SQL 性能优化分析：从 123s 到 18s 的优化之路

avatar 华为开发者空间

详解GaussDB触发器

触发器是一种存储在数据库中的特殊程序，它不需要手动调用，而是在满足特定条件（如执行INSERT/UPDATE/DELETE操作）时由数据库自动触发执行。简单来说，触发器就是数据库层的"事件监听器"，当监听的事件发生时，预设的逻辑会自动运行。GaussDB触发器作为数据库层的自动化工具，其核心价值在于将数据管控逻辑与业务操作解耦，实现精准、原子化的自动响应。它不是应用层逻辑的替代品，而是补充——适合

avatar 华为开发者空间