etcd集群服务

一、静态部署(前提)以下为2台主机信息(需要打开虚拟机,请根据自己电脑配置量力而行)通常都是将集群节点部署为3，5，7，9个节点，为什么不能选择偶数个节点？1.偶数个节点集群不可用风险更高，表现在选主过程中，有较大概率或等额选票，从而触发下一轮选举。2.偶数个节点集群在某些网络分割的场景下无法正常工作。当网络分割发生后，将集群节点对半分割开。此时集群将无法工作。按照RAFT协议，此时集群写操作无法

葱姜麻麻

1061人浏览 · 2022-03-02 12:19:03

葱姜麻麻 · 2022-03-02 12:19:03 发布

一、静态部署(前提)

以下为2台主机信息(需要打开虚拟机,请根据自己电脑配置量力而行)

通常都是将集群节点部署为3，5，7，9个节点，为什么不能选择偶数个节点？

1. 偶数个节点集群不可用风险更高，表现在选主过程中，有较大概率或等额选票，从而触发下一轮选举。

2. 偶数个节点集群在某些网络分割的场景下无法正常工作。当网络分割发生后，将集群节点对半分割开。

此时集群将无法工作。按照 RAFT 协议，此时集群写操作无法使得大多数节点同意，从而导致写失败，集群无法正常工作

请确保两台主机中都已经安装好了 etcd 服务并能正常启动

二、集群搭建

1.编辑 etcd.conf 文件，添加集群信息注意修改对应的 ip

etcd.conf 1

#########################################################
###### 请根据各节点实际情况修改配置：1/3/4/5/6/7 ######
#########################################################
#[Member]
#1.节点名称，必须唯一
ETCD_NAME="etcd01"

#2.设置数据保存的目录
ETCD_DATA_DIR="/var/lib/etcd"

#3.用于监听其他etcd member的url
ETCD_LISTEN_PEER_URLS="http://192.168.95.110:2380"

#4.该节点对外提供服务的地址
ETCD_LISTEN_CLIENT_URLS="http://192.168.95.110:2379,http://127.0.0.1:2379"

#[Clustering]
#5.对外公告的该节点客户端监听地址
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.95.110:2379"

#6.该节点成员对等URL地址，且会通告集群的其余成员节点
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.95.110:2380"

#7.集群中所有节点的信息
ETCD_INITIAL_CLUSTER="etcd01=http://192.168.95.110:2380,etcd02=http://192.168.95.120:2380"

#8.创建集群的token，这个值每个集群保持唯一
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

#9.初始集群状态，新建集群的时候，这个值为new；
ETCD_INITIAL_CLUSTER_STATE="new"

#10.flannel操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API
# 为了兼容flannel，将默认开启v2版本，故配置文件中设置
ETCD_ENABLE_V2="true"

etcd.conf 2

#########################################################
###### 请根据各节点实际情况修改配置：1/3/4/5/6/7 ######
#########################################################
#[Member]
#1.节点名称，必须唯一
ETCD_NAME="etcd02"

#2.设置数据保存的目录
ETCD_DATA_DIR="/var/lib/etcd"

#3.用于监听其他etcd member的url
ETCD_LISTEN_PEER_URLS="http://192.168.95.120:2380"

#4.该节点对外提供服务的地址
ETCD_LISTEN_CLIENT_URLS="http://192.168.95.120:2379,http://127.0.0.1:2379"

#[Clustering]
#5.对外公告的该节点客户端监听地址
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.95.120:2379"

#6.该节点成员对等URL地址，且会通告集群的其余成员节点
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.95.120:2380"

#7.集群中所有节点的信息
ETCD_INITIAL_CLUSTER="etcd01=http://192.168.95.110:2380,etcd02=http://192.168.95.120:2380"

#8.创建集群的token，这个值每个集群保持唯一
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

#9.初始集群状态，新建集群的时候，这个值为new；
ETCD_INITIAL_CLUSTER_STATE="new"

#10.flannel操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API
# 为了兼容flannel，将默认开启v2版本，故配置文件中设置
ETCD_ENABLE_V2="true"

2.修改 /etc/etcd/etcd.conf 文件后，要先删除 /var/lib/etcd 目录下保存的数据，再重新启用服务，不然失败

cd / var / lib / etcd && rm - rf *

3.为节点 etcd01 创建一个 etcd 服务 /etc/systemd/system/etcd.service

[Unit]
Description=Etcd Server
Documentation=https://github.com/etcd-io/etcd
After=network.target

[Service]
User=root
Type=notify
## 根据实际情况修改EnvironmentFile和ExecStart这两个参数值
## 1.EnvironmentFile即配置文件的位置，注意“-”不能少
EnvironmentFile=-/etc/etcd/etcd.conf
## 2.ExecStart即etcd启动程序位置
ExecStart=/usr/local/bin/etcd
Restart=always
RestartSec=10s
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

4.因为需要跨主机通信，需要开放防火墙端口

firewall - cmd -- zone = public -- add - port = 2379 / tcp -- permanent

firewall - cmd -- zone = public -- add - port = 2380 / tcp -- permanent

firewall - cmd -- reload

firewall - cmd -- list - port

5.启动可能报错信息

master - 16 etcd [ 25461 ]: request cluster ID mismatch ( got bdd7c7c32bde1208 want 698851 d67fea3c17 )

原因集群 ip 地址变化后，除了修改 /etc/etcd/etcd.conf 文件并重新启用服务外，还需要删除 /var/lib/etcd 目录下保存的数据

解决办法删除了 etcd 集群所有节点中的 -- data_dir 的内容

6.服务相关指令

systemctl daemon - reload

systemctl enable etcd

systemctl start etcd

systemctl status etcd

systemctl stop etcd

systemctl restart etcd

三、集群测试

各节点重启启动完成后，在任意节点执行 etcdctl member list 可列所有集群节点信息

etcdctl member list

etcdctl member list - w table

etcdctl endpoint health

etcdctl endpoint status

http命令

etcdctl -- endpoints = http : //192.168.199.160:2379,http://192.168.199.157:2379,http://192.168.199.158:2379 endpoint health

etcdctl -- endpoints = http : //192.168.27.120:2379 endpoint health

etcdctl -- endpoints = http : //192.168.27.129:2379 member list -w table