k8s篇-Pod健康检测

一、POD健康检查机制POD 有 2 种探测类型：存活性探测 (pod.spec.containers.livenessProbe) 与就绪性探测(pod.spec.containers.readinessProbe)。就绪和存活探测可以在同一个Pod容器上并行使用。livenessProbe：检测容器是否处于running状态（即Pod的状态是否为running）。若liveness探测到Po

jiam明

5007人浏览 · 2021-11-12 11:22:28

jiam明 · 2021-11-12 11:22:28 发布

一、POD健康检查机制

POD 有 2 种探测类型：

存活性探测 (pod.spec.containers.livenessProbe) 与就绪性探测(pod.spec.containers.readinessProbe)。就绪和存活探测可以在同一个Pod容器上并行使用。

livenessProbe：
检测容器是否处于running状态（即Pod的状态是否为running）。
若liveness探测到Pod不健康时，会通过kubelet杀掉该pod，并根据重启策略来判断是否重启这个pod。若未配置Liveness，则默认返回值是成功的。

readinessProbe：
检测容器是否能正常对外提供服务，或接收请求（即pod的condition是否为ready）。
若readiness探测结果为不健康，则会将这个Pod从接入层(service)的Endpoint中移除掉，直到下一次判断成功，才会将这个pod再次挂回到相应的endpoint上。

有 3 种探测方式：

exec：通过执行容器中的一个命令来判断服务是否正常，命令返回值为0则表示容器是健康的。

httpGet：通过发送http Get请求来进行判断，若返回200-399状态码时，则表示容器是健康的。

tcpSocket：通过探测容器的IP和Port，执行TCP健康检查，若这个TCP的链接能够正常被建立，则表示容器是健康的。

有 3 种探测结果：

Success：表示container通过了健康检查。

Failure：表示container没有通过健康检查。若未通过检查，则会做一个相应处理，Readiness处理方式就是，在service层将没有通过Readiness检查的pod进行摘除，而Liveness就是将这个pod进行重新拉起或删除。

Unknown：表示说当前这次检查操作没有完整执行，可能是因为超时或一些脚本没有及时返回。此时Readiness-probe或Liveness-probe不做任何操作，会等待下一次的机制来进行检验。

POD容器的重启策略 (pod.spec.restartPolicy)：

Always：当POD内容器被终止，不管容器状态是success还是failed，总是重启容器(默认)。

OnFailure：当POD内容器被终止，且容器状态为failed时，才重启。

Never：当POD内容器被终止，不管容器状态是success还是failed，都不重启容器。

1、livenessProbe 探测

Exec方式：

条件：当探测到Pod容器里的/tmp/healthy文件不存在时，认为容器运行不正常。

apiVersion: v1
kind: Pod
metadata:
  name: pod-liveness-exec
spec:
  containers:
  - name: liveness
    image: busybox:latest
    command: ["/bin/sh","-c","touch /tmp/healthy; sleep 30; rm -f /tmp/healthy; sleep 3600"]
    livenessProbe:
      exec:
        command: ["test","-e","/tmp/healthy"]
      initialDelaySeconds: 1
      periodSeconds: 3
  restartPolicy: Always


initialDelaySeconds：在POD容器启动多少秒后再检测。比如JAVA应用，启动时间会较长，因为涉及到jvm启动及jar包加载，所以就需要延迟检测。
periodSeconds：探测的间隔时间，默认为10秒。
timeoutSeconds：探测的超时时间，默认为1秒。当超时时间之内没有检测成功，则会认为是一个失败状态。
successThreshold：从探测失败到再一次判断探测成功的连续次数。比如为2，表示失败后，接下来的2次都探测成功，才表示正常。
failureThreshold：探测失败的重试次数，默认为3次。

验证方法：创建Pod后，等30s，/tmp/healthy文件被删掉后，liveness就会检测到POD容器运行不正常（处于Terminated状态），并尝试重启容器。

httpGet方式：

条件：当探测到【http://容器:80/index.html】网页不能访问时，认为容器运行不正常。

apiVersion: v1
kind: Pod
metadata:
  name: pod-liveness-http
spec:
  containers:
  - name: liveness
    image: ikubernetes/myapp:v1
    ports:
    - name: http
      containerPort: 80
    livenessProbe:
      httpGet:
        port: http
        path: /index.html
      initialDelaySeconds: 1
      periodSeconds: 3
  restartPolicy: Always


验证方法：创建Pod后，进入POD容器，手动删除index.html文件。由于网页不能访问，所以会检测到POD容器运行不正常（处于终止状态），并尝试重启容器

tcpSocket方式：

条件：当探测到8080端口不能建立连接时，则认为容器运行不正常。

apiVersion: v1
kind: Pod
metadata:
  name: pod-liveness-tcp
spec:
  containers:
  - name: goproxy
    image: k8s.gcr.io/goproxy:0.1
    ports:
    - containerPort: 8080
    readlinessProbe:
      tcpSocket:
        port: 8080
      initialDelaySeconds: 5
      periodSeconds: 10
    livenessProbe:
      tcpSocket:
        port: 8080
      initialDelaySeconds: 15
      periodSeconds: 20
  restartPolicy: Always

2、readinessProbe 探测

readinessProbe 与 livenessProbe 的yaml配置差不多，这里只对Exec方式进行举例。

Exec方式：

条件：当探测到/tmp/healthy文件不存在，认为容器提供的服务不正常。

apiVersion: v1
kind: Pod
metadata:
  name: readiness-exec-pod
  namespace: default
spec:
  containers:
  - name: readiness-exec-container
    image: busybox:latest
    imagePullPolicy: IfNotPresent
    #command: ["/bin/sh","-c","touch /tmp/healthy; sleep 30; rm -f /tmp/healthy; sleep 3600"]
    command: ["sleep 3600"]
    readinessProbe:
      exec:
        command: ["test","-e","/tmp/healthy"]
      periodSeconds: 3
  restartPolicy: Always


验证结果：创建Pod后，等30s，/tmp/healthy文件被删掉后，readiness就会检测到Pod容器服务不正常。

二、POD应用状态

查看Pod状态：kubectl describe pods <pod-name>

Pod.Status 描述的是 Pod 的状态，Pod.Containers.State 描述的是 Pod 内某个 Container 的状态。

示例：

$ kubectl describe pods prometheus-tianjimon-prometheus-lite-prometheus-0 -n monitoring
Name:               prometheus-tianjimon-prometheus-lite-prometheus-0
Namespace:          monitoring
Priority:           0
PriorityClassName:  <none>
Node:               node1/10.0.0.100
Start Time:         Wed, 03 Mar 2021 13:57:46 +0800
Labels:             ...
Annotations:        ...
Status:             Running
IP:                 172.16.0.5
Controlled By:      StatefulSet/prometheus-tianjimon-prometheus-lite-prometheus
Containers:
  prometheus:
    Container ID:  docker://bf1b15367e573a95bdcd441f907563fd10f952df4e0f895439c2742ffd99d217
    Image:         www.test.com:5000/qinghai/prometheus:v2.18.1
    ...
    State:          Running
      Started:      Fri, 26 Mar 2021 10:48:31 +0800
    Last State:     Terminated
      Reason:       Completed
      Exit Code:    0
      Started:      Wed, 03 Mar 2021 13:57:48 +0800
      Finished:     Fri, 26 Mar 2021 10:48:29 +0800
    Ready:          True
    Restart Count:  1
    Limits:
      cpu:     5
      memory:  8000Mi
    Requests:
      cpu:        1
      memory:     2000Mi
    Liveness:     http-get http://:web/-/healthy delay=0s timeout=3s period=5s #success=1 #failure=6
    Readiness:    http-get http://:web/-/ready delay=0s timeout=3s period=5s #success=1 #failure=120
    ...
Conditions:
  Type              Status
  Initialized       True
  Ready             True
  ContainersReady   True
  PodScheduled      True
Volumes:
  ...
Events:          <none>

1、Pod状态

Pending：正在创建Pod，但Pod中的容器还没有全部被创建完成，此阶段包括等待Pod被调度的时间和通过网络下载镜像的时间。
Running：Pod已经绑定到了某个节点，Pod中所有的容器都已被创建，且至少一个容器正在处于运行状态、正在启动状态或重启状态。
Succeeded：Pod中的所有容器都已成功终止，且不会再重启。
Failed：Pod中的所有容器都已终止，但至少有一个容器退出时为失败状态，也就是说，容器以非0状态退出或被系统终止。
Unknown：因为某些原因无法取得Pod状态，这种情况通常是因为与Pod所在主机通信失败。

Pod状态变化过程：

         At least one                     All containers
         container is running             terminated with 0
Pending -----------------------> Running -----------------------> Succeed
                                 ↑    ↓
            After Restart,       ↑    ↓   At least one container
    container is running again   ↑    ↓   terminated with non-zero exit code
                                 ↑    ↓
                                 Failed

2、Containers状态