k8s--Kubernetes存储--Volumes配置管理--持久卷--动态静态分配

PersistentVolume（持久卷，简称PV）是集群内，由管理员提供的网络存储的一部分。就像集群中的节点一样，PV也是集群中的一种资源。它也像Volume一样，是一种volume插件，但是它的生命周期却是和使用它的Pod相互独立的。PV这个API对象，捕获了诸如NFS、ISCSI、或其他云存储系统的实现细节。

Gong_yz

1341人浏览 · 2023-03-13 01:02:44

Gong_yz · 2023-03-13 01:02:44 发布

一、简介

PersistentVolume（持久卷，简称PV）是集群内，由管理员提供的网络存储的一部分。就像集群中的节点一样，PV也是集群中的一种资源。它也像Volume一样，是一种volume插件，但是它的生命周期却是和使用它的Pod相互独立的。PV这个API对象，捕获了诸如NFS、ISCSI、或其他云存储系统的实现细节。
PersistentVolumeClaim（持久卷声明，简称PVC）是用户的一种存储请求。它和Pod类似，Pod消耗Node资源，而PVC消耗PV资源。Pod能够请求特定的资源（如CPU和内存）。PVC能够请求指定的大小和访问的模式（可以被映射为一次读写或者多次只读）。

有两种PV提供的方式：静态和动态。
静态PV：集群管理员创建多个PV，它们携带着真实存储的详细信息，这些存储对于集群用户是可用的。它们存在于Kubernetes API中，并可用于存储使用。
动态PV：当管理员创建的静态PV都不匹配用户的PVC时，集群可能会尝试专门地供给volume给PVC。这种供给基于StorageClass。
PVC与PV的绑定是一对一的映射。没找到匹配的PV，那么PVC会无限期得处于unbound未绑定状态。

使用
Pod使用PVC就像使用volume一样。集群检查PVC，查找绑定的PV，并映射PV给Pod。对于支持多种访问模式的PV，用户可以指定想用的模式。一旦用户拥有了一个PVC，并且PVC被绑定，那么只要用户还需要，PV就一直属于这个用户。用户调度Pod，通过在Pod的volume块中包含PVC来访问PV。
释放
当用户使用PV完毕后，他们可以通过API来删除PVC对象。当PVC被删除后，对应的PV就被认为是已经是“released”了，但还不能再给另外一个PVC使用。前一个PVC的属于还存在于该PV中，必须根据策略来处理掉。
回收
PV的回收策略告诉集群，在PV被释放之后集群应该如何处理该PV。当前，PV可以被Retained（保留）、 Recycled（再利用）或者Deleted（删除）。保留允许手动地再次声明资源。对于支持删除操作的PV卷，删除操作会从Kubernetes中移除PV对象，还有对应的外部存储（如AWS EBS，GCE PD，Azure Disk，或者Cinder volume）。动态供给的卷总是会被删除。

注意：PV没有namespace，但是PVC有namespace，pod所需要的PVC和pod需在同一个namespace

访问模式
ReadWriteOnce – 该volume只能被单个节点以读写的方式映射
ReadOnlyMany – 该volume可以被多个节点以只读方式映射
ReadWriteMany – 该volume可以被多个节点以读写的方式映射
在命令行中，访问模式可以简写为：
RWO - ReadWriteOnce
ROX - ReadOnlyMany
RWX - ReadWriteMany
回收策略
Retain：保留，需要手动回收
Recycle：回收，自动删除卷中数据
Delete：删除，相关联的存储资产，如AWS EBS，GCE PD，Azure Disk，or OpenStack Cinder卷都会被删除
当前，只有NFS和HostPath支持回收利用，AWS EBS，GCE PD，Azure Disk，or OpenStack Cinder卷支持删除操作。
状态：
Available：空闲的资源，未绑定给PVC
Bound：绑定给了某个PVC
Released：PVC已经删除了，但是PV还没有被集群回收
Failed：PV在自动回收中失败了
命令行可以显示PV绑定的PVC名称。

二、NFS PV示例( 静态分配)

1.保证环境的干净

[root@server2 volumes]# kubectl get pod 
NAME     READY   STATUS    RESTARTS   AGE
nfs-pd   1/1     Running   0          12m
[root@server2 volumes]# kubectl delete -f nfs.yaml    ##先清理环境
[root@server2 volumes]# kubectl get pv
No resources found
[root@server2 volumes]# kubectl get pvc
No resources found in default namespace.
[root@server2 volumes]# kubectl get pod
No resources found in default namespace.

2.创建所需资源

1. 安装配置NFS服务：（前面已经做过了）
[root@k8s1 ~]## yum install -y nfs-utils
[root@k8s1 ~]## mkdir -m 777 /nfsdata
[root@k8s1 ~]## vim /etc/exports
/nfsdata	*(rw,sync,no_root_squash)
[root@k8s1 ~]## systemctl enable --now rpcbind
[root@k8s1 ~]## systemctl enbale --now nfs

[root@k8s3 ~]# yum install nfs-utils -y   ##都需要安装nfs服务
[root@k8s4 ~]# yum install nfs-utils -y

3.书写pv,pvc,pod文件并进行测试

（1）创建静态pv

配置nfs输出目录
[root@k8s1 ~]# cd /nfsdata/
[root@k8s1 nfsdata]# mkdir pv1 pv2 pv3

创建静态pv
[root@k8s2 pv]# vim pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv1
spec:
  capacity:
    storage: 5Gi
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce                               ##单点读写
  persistentVolumeReclaimPolicy: Recycle   ##回收再利用
  storageClassName: nfs                 ##类型
  nfs:
    path: /nfsdata/pv1                       ##挂载目录
    server: 192.168.56.171

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv2
spec:
  capacity:
    storage: 10Gi
  volumeMode: Filesystem
  accessModes:
    - ReadWriteMany                                       ##读点读写
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: nfs
  nfs:
    path: /nfsdata/pv2
    server: 192.168.56.171

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv3
spec:
  capacity:
    storage: 15Gi
  volumeMode: Filesystem
  accessModes:
    - ReadOnlyMany                            ##多点只读
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: nfs
  nfs:
    path: /nfsdata/pv3
    server: 192.168.56.171

[root@k8s2 pv]# kubectl apply -f pv.yaml

[root@k8s2 pv]# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
pv1    5Gi        RWO            Recycle          Available           nfs                     3m30s
pv2    10Gi       RWX            Recycle          Available           nfs                     2s
pv3    15Gi       ROX            Recycle          Available           nfs                     2s

（2）创建pvc

要和pv绑定，需创建对应的pvc，绑定的前提是类型，大小，访问方式均对应；
其中大小：pv>=pvc

创建pvc
[root@k8s2 pv]# vim pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc1
spec:
  storageClassName: nfs       ##存储类型
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 5Gi

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc2
spec:
  storageClassName: nfs
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 10Gi

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc3
spec:
  storageClassName: nfs
  accessModes:
    - ReadOnlyMany
  resources:
    requests:
      storage: 15Gi

[root@k8s2 pv]# kubectl apply -f pvc.yaml

[root@k8s2 pv]# kubectl get pvc
NAME   STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc1   Bound    pv1      5Gi        RWO            nfs            4m1s
pvc2   Bound    pv2      10Gi       RWX            nfs            2m4s
pvc3   Bound    pv3      15Gi       ROX            nfs            4s

[root@k8s2 pv]# kubectl get pv          ##default/pvc1绑定
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM          STORAGECLASS   REASON   AGE
pv1    5Gi        RWO            Recycle          Bound    default/pvc1   nfs                     12m
pv2    10Gi       RWX            Recycle          Bound    default/pvc2   nfs                     8m37s
pv3    15Gi       ROX            Recycle          Bound    default/pvc3   nfs                     8m37s

（3）创建pod

上面实验一捆绑完成，在pod中使用

创建pod
[root@k8s2 pv]# vim pod.yaml
apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  containers:
  - image: nginx
    name: nginx
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: vol1
  volumes:
  - name: vol1
    persistentVolumeClaim:
      claimName: pvc1                       ##映射对应的挂载类型：真正的存储

[root@k8s2 pv]# kubectl apply -f pod.yaml

路径：pod->pvc->pv（pod请求pvc，pvc找pv）

（4）测试、回收

在nfs输出目录中创建测试页
[root@k8s1 pv1]# echo pv1 > index.html

[root@k8s2 pv]# kubectl get pod -o wide
NAME      READY   STATUS    RESTARTS   AGE   IP               NODE   NOMINATED NODE   READINESS GATES
test-pd   1/1     Running   0          12s   10.244.106.144   k8s4   <none>           <none>

[root@k8s2 pv]# curl 10.244.106.144
pv1

回收资源，需要按顺序回收: pod -> pvc -> pv
[root@k8s2 pv]# kubectl delete  pod test-pd
[root@k8s2 pv]# kubectl delete  -f pvc.yaml

回收pvc后，pv会被回收再利用（回收pvc，会运行一个pod下载registry.k8s.io/debian-base:v2.0.0释放pv，pv目录数据会删除）
[root@k8s2 pv]# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
pv1    5Gi        RWO            Recycle          Available           nfs                     25m
pv2    10Gi       RWX            Recycle          Available           nfs                     22m
pv3    15Gi       ROX            Recycle          Available           nfs                     22m

pv的回收需要拉取镜像，提前在node节点导入镜像：registry.k8s.io/debian-base:v2.0.0
registry.k8s.io 替代 k8s.gcr.io 这个仓库，但依然需要科学上网

[root@k8s3 ~]# docker pull yakexi007/debian-base:v2.0.0
[root@k8s3 ~]# docker tag yakexi007/debian-base:v2.0.0 registry.k8s.io/debian-base:v2.0.0
          									##经测试、更改标签后可用
回收
[root@k8s2 pv]# kubectl delete -f pv.yaml

三、动态分配:storageclass

1.简介

StorageClass提供了一种描述存储类（class）的方法，不同的class可能会映射到不同的服务质量等级和备份策略或其他策略等。

每个 StorageClass 都包含 provisioner、parameters 和 reclaimPolicy 字段，这些字段会在StorageClass需要动态分配 PersistentVolume 时会使用到。

StorageClass的属性
Provisioner（存储分配器）：用来决定使用哪个卷插件分配 PV，该字段必须指定。可以指定内部分配器，也可以指定外部分配器。外部分配器的代码地址为： kubernetes-incubator/external-storage，其中包括NFS和Ceph等。
Reclaim Policy（回收策略）：通过reclaimPolicy字段指定创建的Persistent Volume的回收策略，回收策略包括：Delete 或者 Retain，没有指定默认为Delete。
更多属性查看：https://kubernetes.io/zh/docs/concepts/storage/storage-classes/

NFS Client Provisioner是一个automatic provisioner，使用NFS作为存储，自动创建PV和对应的PVC，本身不提供NFS存储，需要外部先有一套NFS存储服务。
PV以 ${namespace}-$ {pvcName}- ${pvName}的命名格式提供（在NFS服务器上） PV回收的时候以 archieved-$ {namespace}- ${pvcName}-$ {pvName} 的命名格式（在NFS服务器上）

storageclass官网： https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner
在这里插入图片描述

2.实验示例

上传镜像
在这里插入图片描述

（1）创建sa（ServiceAccount）

创建sa并授权
[root@k8s2 nfs]# vim rbac.yaml
apiVersion: v1
kind: Namespace                 ##创建Namespace，并全部替换为新建的Namespace  
metadata:
  name: nfs-client-provisioner   
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner
  namespace: nfs-client-provisioner
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["nodes"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    namespace: nfs-client-provisioner
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  namespace: nfs-client-provisioner
rules:
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
  namespace: nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    namespace: nfs-client-provisioner
roleRef:
  kind: Role
  name: leader-locking-nfs-client-provisioner
  apiGroup: rbac.authorization.k8s.io

[root@k8s2 nfs]# kubectl apply -f rbac.yaml

（2）部署应用

部署应用
[root@k8s2 nfs]# vim deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client-provisioner 
  labels:
    app: nfs-client-provisioner
  namespace: nfs-client-provisioner       ##指向新建
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: sig-storage/nfs-subdir-external-provisioner:v4.0.2 ##更改镜像
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: k8s-sigs.io/nfs-subdir-external-provisioner
            - name: NFS_SERVER
              value: 192.168.56.171                        ##nfs服务器地址
            - name: NFS_PATH
              value: /nfsdata                              ##nfs路径
      volumes:
        - name: nfs-client-root
          nfs:
            server: 192.168.56.171                          ##server
            path: /nfsdata                                  ##路径

[root@k8s2 nfs]# kubectl apply -f deployment.yaml

[root@k8s2 nfs]# kubectl  -n nfs-client-provisioner get pod
NAME                                      READY   STATUS    RESTARTS   AGE
nfs-client-provisioner-5697d96584-6bbtb   1/1     Running   0          15m

（3）创建存储类、创建pvc

创建存储类，没有namespace，因为存储类是集群全局的
[root@k8s2 nfs]# vim class.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-client
provisioner: k8s-sigs.io/nfs-subdir-external-provisioner  ##和 deployment.yaml中定义的name一致
parameters:
  archiveOnDelete: "false"                                ##删除时不打包备份，删除PVC是会自动删除PV；delete策略

[root@k8s2 nfs]# kubectl apply -f  class.yaml

[root@k8s2 nfs]# kubectl get sc
NAME         PROVISIONER                                   RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
nfs-client   k8s-sigs.io/nfs-subdir-external-provisioner   Delete          Immediate           false                  10s

创建pvc
[root@k8s2 nfs]# vim pvc.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: test-claim
spec:
  storageClassName: nfs-client           ##存储类名字需保持一致
  accessModes:
    - ReadWriteMany                      ##多点读写
  resources:
    requests:
      storage: 1Gi

[root@k8s2 nfs]# kubectl apply -f pvc.yaml

[root@k8s2 nfs]# kubectl get pvc          ##自动创建PV目录（server1）
NAME         STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
test-claim   Bound    pvc-662561d9-4d84-42d4-ad22-03d16a84c618   1Gi        RWX            nfs-client     6s

（4）创建pod

创建pod
[root@k8s2 nfs]# vim pod.yaml
kind: Pod
apiVersion: v1
metadata:
  name: test-pod
spec:
  containers:
  - name: test-pod
    image: busybox
    command:
      - "/bin/sh"
    args:
      - "-c"
      - "touch /mnt/SUCCESS && exit 0 || exit 1"   ##创建测试文件
    volumeMounts:
      - name: nfs-pvc
        mountPath: "/mnt"
  restartPolicy: "Never"
  volumes:
    - name: nfs-pvc
      persistentVolumeClaim:
        claimName: test-claim                      ##PVC的名字

[root@k8s2 nfs]# kubectl apply -f pod.yaml

pod会在pv中创建一个文件
在这里插入图片描述

（5）回收

回收
[root@k8s2 nfs]# kubectl delete -f pod.yaml
[root@k8s2 nfs]# kubectl delete -f pvc.yaml          ##自动回收pv

设置【默认存储类】，这样在创建pvc时可以不用指定storageClassName
[root@k8s2 pvc]# kubectl patch storageclass nfs-client -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'
存储类名字：nfs-client

以下查看default为nfs-client
[root@k8s2 pvc]# kubectl get sc
NAME                   PROVISIONER                                   RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
nfs-client (default)   k8s-sigs.io/nfs-subdir-external-provisioner   Delete          Immediate           false                  6m47s

四、默认的 StorageClass

默认的 StorageClass 将被用于动态的为没有特定 storage class 需求的 PersistentVolumeClaims 配置存储：（只能有一个默认StorageClass）
如果没有默认StorageClass，PVC 也没有指定storageClassName 的值，那么意味着它只能够跟 storageClassName 也是“”的 PV 进行绑定。

1.没有StorageClass的情况

[root@server2 nfs-client]# vim demo.yaml 
[root@server2 nfs-client]# cat demo.yaml     ##测试没有StorageClass
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: test-claim-2
spec:
#  storageClassName: managed-nfs-storage
  accessModes:
    - ReadOnlyMany
  resources:
    requests:
      storage: 5Gi
 
[root@server2 nfs-client]# kubectl apply -f demo.yaml 
[root@server2 nfs-client]# kubectl get pvc    ##没有指定一直处于pending状态

2.设置默认的StorageClass

kubectl patch storageclass <your-class-name> -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'  ##模板
[root@server2 nfs-client]# kubectl patch storageclass managed-nfs-storage -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'   ##指定sc
[root@server2 nfs-client]# kubectl get sc   ##查看是否设置成功
NAME                            PROVISIONER                                   RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
managed-nfs-storage (default)   k8s-sigs.io/nfs-subdir-external-provisioner   Delete          Immediate           false                  58m
 
 
##查看效果
[root@server2 nfs-client]# kubectl delete -f demo.yaml 
[root@server2 nfs-client]# kubectl apply -f demo.yaml 
[root@server2 nfs-client]# kubectl get pvc
NAME           STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS          AGE
test-claim     Bound    pvc-bc952d4e-47a5-4ac4-9d95-5cd2e6132ebf   2Gi        RWX            managed-nfs-storage   55m
test-claim-2   Bound    pvc-2262d8b4-c660-4301-aad5-2ec59516f14e   5Gi        ROX            managed-nfs-storage   2s