k8s部署nacos集群（官方文档版）
记录根据nacos官方文档部署nacos集群所踩的坑
·
小白防忘
最近学习了k8s的基础用法，就想着拿个实际的springCloud项目来练练手，结果被直接被拦在了第一关注册中心，不过还好有官方的配置文档，但配置过程中还是有一些坑，所以在这里记录一下。
部署环境：
- ubuntu20.04
- docker version 20.10.12
- k8s version 1.23.1
- kubeadm 一主两从
本篇主要参考nacos官方k8s配置文档的配置顺序，配置文件。
废话不多说直接开肝。
虚拟机上需要安装nfs
#本篇所有执行的命令都是在root用户下操作
#安装命令，master节点 node节点都需要安装
apt-get install nfs-kernel-server -y
#重启命令
service nfs-kernel-server restart
第一大步配置NFS-Client Provisioner，目的是为之后进行nacos扩容的时候自动申请pvc、pv，省去了每次nacos扩缩容时需要人为的创建pvc、pv的时间。
创建角色，执行rbac.yaml
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: nfs-client-provisioner-runner
rules:
- apiGroups: [""]
resources: ["persistentvolumes"]
verbs: ["get", "list", "watch", "create", "delete"]
- apiGroups: [""]
resources: ["persistentvolumeclaims"]
verbs: ["get", "list", "watch", "update"]
- apiGroups: [""]
resources: ["endpoints"]
verbs: ["get", "list", "watch", "create", "update", "patch"]
- apiGroups: ["storage.k8s.io"]
resources: ["storageclasses"]
verbs: ["get", "list", "watch"]
- apiGroups: [""]
resources: ["events"]
verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: run-nfs-client-provisioner
subjects:
- kind: ServiceAccount
name: nfs-client-provisioner
namespace: default
roleRef:
kind: ClusterRole
name: nfs-client-provisioner-runner
apiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: leader-locking-nfs-client-provisioner
rules:
- apiGroups: [""]
resources: ["endpoints"]
verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: leader-locking-nfs-client-provisioner
subjects:
- kind: ServiceAccount
name: nfs-client-provisioner
# replace with namespace where provisioner is deployed
namespace: default
roleRef:
kind: Role
name: leader-locking-nfs-client-provisioner
apiGroup: rbac.authorization.k8s.io
在执行deployment.yaml文件之前需要创建pv，pvc，官方文档没有给出，需要自己创建。
在创建pv，pvc之前需要先在nfs上暴露文件，以及文件的读写权限
#只需要master节点上操作一次就可以了。
#创建文件,文件地址随意,自己找得到就行
mkdir /root/data/nacos
#赋予权限
chmod 777 /root/data/nacos
#在nfs中添加要暴露的文件及其读写权限
gedit /etc/exports 或者 vi /etc/exports
#在开的文件中添加要暴露的文件位置及其读写权限
/root/data/nacos *(insecure,rw,async,no_root_squash)
#保存之后重启nfs服务，一定要记得重启
service nfs-kernel-server restart
mysql是一会儿部署mysql时准备的
重启完nfs之后就可以直接执行pv.yaml和pvc.yaml（按顺序执行）。
pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
name: nacos-pv
spec:
capacity:
storage: 2Gi
accessModes:
- ReadWriteMany
persistentVolumeReclaimPolicy: Retain
nfs:
path: /root/data/nacos #存储卷的实际位置，与nfs暴露的文件地址相同
server: 192.168.220.131 #nfs服务器的ip地址
pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: nfs-client-root #pvc的名字需要和deployment.yaml中的名字相同
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 2Gi
pv.yaml和pvc.yaml执行完毕之后执行deployment.yaml，在执行前需要修改yaml文件中一下配置，代码块中已标明。
apiVersion: v1
kind: ServiceAccount
metadata:
name: nfs-client-provisioner
---
kind: Deployment
apiVersion: apps/v1
metadata:
name: nfs-client-provisioner
spec:
replicas: 1
strategy:
type: Recreate
selector:
matchLabels:
app: nfs-client-provisioner
template:
metadata:
labels:
app: nfs-client-provisioner
spec:
serviceAccount: nfs-client-provisioner
containers:
- name: nfs-client-provisioner
#不使用官方准备的镜像的原因在下面会说明。
#image: quay.io/external_storage/nfs-client-provisioner:latest
image: easzlab/nfs-subdir-external-provisioner:v4.0.1
#镜像拉取策略看自己的网速把
imagePullPolicy: IfNotPresent
volumeMounts:
- name: nfs-client-root
mountPath: /persistentvolumes
env:
- name: PROVISIONER_NAME
value: fuseim.pri/ifs #和storageClass里的命名相同
- name: NFS_SERVER
value: 192.168.220.131 #nfs服务器地址
- name: NFS_PATH
value: /root/data/nacos #nfs服务器上暴露的文件地址
volumes:
- name: nfs-client-root #pvc的名字相同
nfs:
server: 192.168.220.131 #nfs服务器地址
path: /root/data/nacos #nfs服务器上暴露的文件地址
之所以不用官方准备的镜像是因为k8s的版本问题，在k8s 1.20即以上的版本禁用了selfLink，如果什么都不修改会导致之后创建的nacos pod一直处于pending状态。
修改方法有两种：
第一种是修改kube-apiserver.yaml，添加一行- --feature-gates=RemoveSelfLink=false
#打开文件
gedit /etc/kubernetes/manifests/kube-apiserver.yaml
#或者
vi /etc/kubernetes/manifests/kube-apiserver.yaml
保存之后重新执行kube-apiserver.yaml即可
kubectl apply -f /etc/kubernetes/manifests/kube-apiserver.yaml
第二种是直接指定provisioner的镜像为4.0以上的版本即可。
参考文章：文章一，文章二
然后查看pod状态，如果处于running即为部署成功。
最后部署StorageClass，用来自动申请pv，pvc，执行clss.yaml文件
class.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: managed-nfs-storage
provisioner: fuseim.pri/ifs #和deployment.yaml中的PROVISIONER_NAME 相同
parameters:
archiveOnDelete: "false"
第二大步部署mysql，在部署mysql之前同样需要先配置pv，pvc，配置步骤同上（记得先暴露文件），我直接放yaml配置文件了。
pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
name: nacos-mysql-pv
spec:
capacity:
storage: 2Gi
accessModes:
- ReadWriteMany
persistentVolumeReclaimPolicy: Retain
nfs:
path: /root/data/mysql #执行yaml之前记得在exports文件中暴露该文件地址，以及重启nfs服务
server: 192.168.220.131
pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: mysql-data #这里的名字需要和mysql.yaml中的名字相同
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 2Gi
创建完pv，pvc之后（按顺序执行），执行mysql-nfs.yaml文件，执行前需要修改部分配置，已标明。
mysql-nfs.yaml
apiVersion: v1
kind: ReplicationController
metadata:
name: mysql
labels:
name: mysql
spec:
replicas: 1
selector:
name: mysql
template:
metadata:
labels:
name: mysql
spec:
containers:
- name: mysql
#指定版本号的镜像拉取策略默认为IfNotPresent
image: nacos/nacos-mysql:5.7
ports:
- containerPort: 3306
volumeMounts:
- name: mysql-data #需和下面volumes中的name相同
mountPath: /var/lib/mysql
env:
- name: MYSQL_ROOT_PASSWORD #root用户密码
value: "123123" #value均可以自定义
- name: MYSQL_DATABASE #database名称
value: "nacos_devtest"
- name: MYSQL_USER #用户名
value: "nacos"
- name: MYSQL_PASSWORD #用户密码
value: "123123"
volumes:
- name: mysql-data #命名和pvc.yaml里的命名相同
nfs:
server: 192.168.220.131 #nfs服务器地址
path: /root/data/mysql #nfs暴露的文件
---
apiVersion: v1
kind: Service
metadata:
name: mysql
labels:
name: mysql
spec:
ports:
- port: 3306
targetPort: 3306
selector:
name: mysql
同样创建好的pod处于running状态即为配置成功。
第三大步配置nacos，执行nacos-pvc-nfs.yaml，执行前需要修改部分配置，已标明。
---
apiVersion: v1
kind: Service
metadata:
name: nacos-headless
labels:
app: nacos
annotations:
service.alpha.kubernetes.io/tolerate-unready-endpoints: "true"
spec:
ports:
- port: 8848
name: server
targetPort: 8848
- port: 9848
name: client-rpc
targetPort: 9848
- port: 9849
name: raft-rpc
targetPort: 9849
## 兼容1.4.x版本的选举端口
- port: 7848
name: old-raft-rpc
targetPort: 7848
clusterIP: None
selector:
app: nacos
---
apiVersion: v1
kind: ConfigMap
metadata:
name: nacos-cm
data:
#根据刚才mysql.yaml中配置的信息进行修改
mysql.db.name: "nacos_devtest"
mysql.port: "3306"
mysql.user: "root"
mysql.password: "123123"
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: nacos
spec:
serviceName: nacos-headless
replicas: 2
template:
metadata:
labels:
app: nacos
annotations:
pod.alpha.kubernetes.io/initialized: "true"
spec:
affinity:
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: "app"
operator: In
values:
- nacos
topologyKey: "kubernetes.io/hostname"
serviceAccountName: nfs-client-provisioner
initContainers:
- name: peer-finder-plugin-install
image: nacos/nacos-peer-finder-plugin:1.1
imagePullPolicy: IfNotPresent
volumeMounts:
- mountPath: /home/nacos/plugins/peer-finder
name: nacos-data
subPath: peer-finder
containers:
- name: nacos
imagePullPolicy: IfNotPresent
image: nacos/nacos-server:latest
resources:
requests:
memory: "2Gi"
cpu: "500m"
ports:
- containerPort: 8848
name: client-port
- containerPort: 9848
name: client-rpc
- containerPort: 9849
name: raft-rpc
- containerPort: 7848
name: old-raft-rpc
env:
- name: NACOS_REPLICAS
value: "2"
- name: SERVICE_NAME
value: "nacos-headless"
- name: DOMAIN_NAME
value: "cluster.local"
- name: POD_NAMESPACE
valueFrom:
fieldRef:
apiVersion: v1
fieldPath: metadata.namespace
- name: MYSQL_SERVICE_DB_NAME
valueFrom:
configMapKeyRef:
name: nacos-cm
key: mysql.db.name
- name: MYSQL_SERVICE_PORT
valueFrom:
configMapKeyRef:
name: nacos-cm
key: mysql.port
- name: MYSQL_SERVICE_USER
valueFrom:
configMapKeyRef:
name: nacos-cm
key: mysql.user
- name: MYSQL_SERVICE_PASSWORD
valueFrom:
configMapKeyRef:
name: nacos-cm
key: mysql.password
- name: NACOS_SERVER_PORT
value: "8848"
- name: NACOS_APPLICATION_PORT
value: "8848"
- name: PREFER_HOST_MODE
value: "hostname"
volumeMounts:
- name: nacos-data #这里的name都要与volumeClaimTemplates中的name相同
mountPath: /home/nacos/plugins/peer-finder
subPath: peer-finder
- name: nacos-data
mountPath: /home/nacos/data
subPath: data
- name: nacos-data
mountPath: /home/nacos/logs
subPath: logs
volumeClaimTemplates:
- metadata:
name: nacos-data
annotations:
volume.beta.kubernetes.io/storage-class: "managed-nfs-storage" #填写class.yaml中的name
spec:
accessModes: [ "ReadWriteMany" ]
resources:
requests:
storage: 20Gi
selector:
matchLabels:
app: nacos
最后查看一下pod状态，都处于running状态即为成功。
我这里有重启的次数是因为我的nacos集群不是一次性部署好的，中途关过虚拟机，正常情况下重启次数应为0。
最后部署一下ingress即可，执行nacos-ingress.yaml
nacos-ingress.yaml
#特别强调一点，k8s的版本不同ingress配置的一些细节不同，具体可以看看官网，
#我展示的配置信息，只能保证1.23.1版本的k8s可以使用。
#nacos-k8s里也有ingress的配置，可以参考一下
#./nacos-k8s/deploy/nacos/nacos-no-pvc-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: nacos-ingress-http
labels:
nacos: ingress-http
annotations:
kubernetes.io/ingress.class: nginx
spec:
rules:
- host: nacos.yufang.com #自定义,ingress规定只能使用域名，没有的可以去修改host文件
http:
paths:
- path: / #自定义,建议就这样，不然在springCloud服务注册时报错405
pathType: Prefix #必须配置匹配策略
backend:
service:
name: nacos-headless
port:
number: 8848
执行完之后，直接浏览器访问 nacos.yufang.com:32508/nacos/index.html即可。端口号通过kubectl get svc -n ingress-nginx命令查看。
强调一下，ingress也是需要提前部署ingress-controller，不是直接开用的。
部署方法自行百度把，比较简单。
浏览器访问，账号密码都为nacos。
看到登录页面悬着的心也能安稳落地了。
为开发者提供学习成长、分享交流、生态实践、资源工具等服务，帮助开发者快速成长。
更多推荐
5
0- 0
已为社区贡献1条内容
所有评论(0)