kubeadm 简介

kubeadm 是 Kubernetes（以下简称 k8s）官方提供的用于快速安装部署 k8s 集群的工具，伴随 k8s 每个版本的发布都会同步更新，kubeadm 会对集群配置方面的一些实践做调整，通过实验 kubeadm 可以学习到 k8s 官方在集群配置上一些新的最佳实践。

这个工具能通过两条指令完成一个 k8s 集群的部署：

# 创建一个 Master 节点
$ kubeadm init

# 将一个 Node 节点加入到当前集群中
$ kubeadm join <Master节点的IP和端口 >

使用 kubeadm 工具大大简化了 k8s 的部署操作。

k8s 的部署方式

通常使用 kubeadm 部署和二进制方式部署，他们之间的区别：

• kubeadm 方式部署，组件容器化部署，只有 kubelet 没有被容器化
• 二进制方式部署，传统的守护进程（systemd）管理服务 systemctl

实现目标

基于 华为 openEuler 22.03 LTS 系统，使用 kubeadm v1.24.1 搭建一套由单 Master node 和两个 Worker node 组成的 k8s v1.24.1 版本的集群环境。

系统环境准备

部署要求

在开始部署之前，部署 k8s 集群的宿主机（vm 或 物理机）需要满足以下几个条件：

• 宿主机 3 台，操作系统 CentOS7.x/8.x-86_x64 系列（此处使用 openEuler 22.03 LTS）
• 硬件配置：RAM 4GB或更多，CPU 核数 2c 或更多，硬盘 60GB 或更多
• 集群中所有机器之间网络互通
• 可以访问外网，需要拉取镜像
• 关闭防火墙，禁止 swap 分区
• 所有集群节点同步系统时间（使用 ntpdate 工具）

注意：以上部署规格的配置要求为最小化集群规模要求，生产环境的集群部署要求按实际情况扩展配置，为了保障集群环境的高可用性，搭建集群环境的宿主机通常以奇数（ ≥ 3、5、7…）节点最佳。

部署规划

此处以单 master node 和两 worker node 集群模式为例，使用 kubeadm 部署 Kubernetes v1.24.1 版本集群环境。

1. 单 master 集群模式

2. vm 资源编排

此处使用 VMware Workstation Pro v16.2.2 虚拟机搭建 vm 环境，规划如下：

k8s 集群角色	ip 地址	hostname 主机名称	资源规格	操作系统	安装组件
master	192.168.18.130	k8s-master-01	2c4g/60g	openEuler 22.03 LTS	kube-apiserver、kube-controller-manager、kube-scheduler、etcd、containerd、kubelet、kube-proxy、keepalived、nginx、calico、metrics-server、dashboard
worker node	192.168.18.131	k8s-node-01	2c4g/60g	openEuler 22.03 LTS	containerd、kubelet、kube-proxy、ingress-controller、calico，coredns
worker node	192.168.18.132	k8s-node-02	2c4g/60g	openEuler 22.03 LTS	containerd、kubelet、kube-proxy、ingress-controller、calico，coredns

关于 VMware Workstation Pro v16.2.2 虚拟机自行下载，并安装配置好，vm 系统使用华为 openEuler 22.03 LTS ISO 镜像。

注意：VMware 中网络配置选择【NAT 模式】，确保 vm 内部网络环境可以访问到外部网络环境。

3. k8s 组件版本

关于 k8s 的常用资源组件版本信息规划如下：

名称	版本	下载地址
kubernetes	v1.24.1	https://github.com/kubernetes/kubernetes/releases/tag/v1.24.1
kubelet、kubeadm、kubectl	v1.24.1	yum install -y kubelet-1.24.1 kubeadm-1.24.1 kubectl-1.24.1
containerd	v1.6.4，cni v0.3.1	https://github.com/containerd/containerd/releases/tag/v1.6.4
flannel	v0.18.0	https://github.com/flannel-io/flannel/releases/tag/v0.18.0
calico	v3.23.1	https://github.com/projectcalico/calico/releases/tag/v3.23.1
kube-state-metrics	v2.4.2	https://github.com/kubernetes/kube-state-metrics/releases/tag/v2.4.2
metrics-server-helm-chart	v3.8.2	https://github.com/kubernetes-sigs/metrics-server/releases/tag/metrics-server-helm-chart-3.8.2
Kong Ingress Controller for Kubernetes (KIC)	v2.3.1	https://github.com/Kong/kubernetes-ingress-controller/releases/tag/v2.3.1
dashboard	v2.5.1	https://github.com/kubernetes/dashboard/releases/tag/v2.5.1

4. 关于 openEuler

基于华为 openEuler 系统环境部署，推荐使用 openEuler 22.03 LTS 和 openEuler 20.03 LTS SP3，以 root 身份执行下面命令。

为了方便操作，vm 中的 openEuler 系统网络 ip 可以按照上面的编排规划，设置静态 ip 地址。

关于 openEuler 系统的安装，请自行参考官方文档，此处不是重点，接下来介绍 openEuler 系统安装后，我们需要设置的相关事项。

openEuler 资源地址：

• ISO下载，https://www.openeuler.org/zh/download/
• 安装指南，https://docs.openeuler.org/zh/docs/22.03_LTS/docs/Installation/installation.html

5. shell 终端

以下是一些比较常用的 shell 终端，选择自己喜欢的一个安装配置即可。

• Xshell 5/6/7
• Windows PowerShell / PowerShell
• Windows Terminal
• PuTTY
• Visual Studio Code

VM 系统部署操作事项（所有节点）

注意：下面命令在 k8s 所有节点（master + worker）执行。

1. 关闭防火墙 Firewalld

防火墙 firewalld 先 stop 再 disable ，操作如下：

systemctl stop firewalld #停止 $
systemctl disable firewalld #开机禁用 $

查看防火墙状态

systemctl status firewalld #查看状态

输出如下信息，说明已经关闭

[root@k8s-master-01 ~]# systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
     Docs: man:firewalld(1)

[Linux防火墙操作命令，开放或关闭端口] =》 https://zhuanlan.zhihu.com/p/161196711

2. 关闭 SELinux

安全增强型 Linux（SELinux）是一个 Linux 内核的功能，它提供支持访问控制的安全政策保护机制。

# 临时关闭 SELinux。
setenforce 0 

# 永久关闭 SELinux。
vi /etc/selinux/config
SELINUX=disabled

验证 selinux 状态

getenforce

输出如下信息，说明已经关闭

[root@k8s-node-01 ~]# getenforce
Disabled

SELinux 状态说明

• SELinux 状态为 disabled，表明 SELinux 已关闭
• SELinux 状态为 enforcing 或者 permissive，表明 SELinux 在运行

3. 关闭 Swap

swap 的用途 ?

swap 分区就是交换分区，(windows 平台叫虚拟内存) 在物理内存不够用时，操作系统会从物理内存中把部分暂时不被使用的数据转移到交换分区，从而为当前运行的程序留出足够的物理内存空间。

为什么要关闭 swap ?

swap 启用后，在使用磁盘空间和内存交换数据时，性能表现会较差，会减慢程序执行的速度。

有的软件的设计师不想使用交换分区，例如：kubelet 在 v1.8 版本以后强制要求 swap 必须关闭，否则会报错：

Running with swap on is not supported, please disable swap! or set --fail-swap-on flag to false

或者 kubeadm init 时会报错：

[ERROR Swap]: running with swap on is not supported. Please disable swap

关闭 swap

swapoff -a # 临时关闭
vi /etc/fstab # 永久关闭，注释掉 swap 这行

查看 swap 是否关闭

[root@k8s-master-01 ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:           1454         881         147          73         425         179
Swap:             0           0           0

显示 total/used/free 为 0，说明已经关闭。

4. 设置宿主机名称

依据宿主机（vm 或物理机）资源编排情况，使用 systemd 里面的 hostnamectl 设置主机名。

# 临时
hostnamectl set-hostname k8s-master-01
hostnamectl set-hostname k8s-node-01
hostnamectl set-hostname k8s-node-02

# 永久，编写对应的 hostname
vi /etc/hostname

设置完成后，重新进入下 shell 终端，使配置生效。

bash

5. 在 Master node 和 Worker node 添加 hosts

修改 hosts 文件，配置主机名称和 ip 之间的映射。

$ cat > /etc/hosts << EOF
192.168.18.130 k8s-master-01
192.168.18.131 k8s-node-01
192.168.18.132 k8s-node-02
EOF

进入 bash 访问测试 node 节点网络是否连通

bash
...
ping k8s-master-01
ping k8s-node-01
ping k8s-node-02

6. 创建 containerd.conf 配置文件

在路径 “/etc/modules-load.d/containerd.conf” 创建配置文件。

cat << EOF > /etc/modules-load.d/containerd.conf
overlay
br_netfilter
EOF

执行以下命令使配置生效

modprobe overlay
modprobe br_netfilter

7. 将桥接的 IPv4 流量传递到 IPTABLES 链

IPTABLES 规则实现 Docker 或 K8s 的网络通信，非常关键。查看 “/etc/sysctl.d/99-xxx.conf” 配置文件。

[root@k8s-master-01 /]# ls /etc/sysctl.d/
99-kubernetes-cri.conf  99-sysctl.conf
[root@k8s-master-01 /]# cat /etc/sysctl.d/99-sysctl.conf
# sysctl settings are defined through files in
# /usr/lib/sysctl.d/, /run/sysctl.d/, and /etc/sysctl.d/.
#
# Vendors settings live in /usr/lib/sysctl.d/.
# To override a whole file, create a new file with the same in
# /etc/sysctl.d/ and put new settings there. To override
# only specific settings, add a file with a lexically later
# name in /etc/sysctl.d/ and put new settings there.
#
# For more information, see sysctl.conf(5) and sysctl.d(5).
kernel.sysrq=0
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
user.max_user_namespaces=28633
net.ipv4.ip_forward=1
net.ipv4.conf.all.send_redirects=0
net.ipv4.conf.default.send_redirects=0
net.ipv4.conf.all.accept_source_route=0
net.ipv4.conf.default.accept_source_route=0
net.ipv4.conf.all.accept_redirects=0
net.ipv4.conf.default.accept_redirects=0
net.ipv4.conf.all.secure_redirects=0
net.ipv4.conf.default.secure_redirects=0
net.ipv4.icmp_echo_ignore_broadcasts=1
net.ipv4.icmp_ignore_bogus_error_responses=1
net.ipv4.conf.all.rp_filter=1
net.ipv4.conf.default.rp_filter=1
net.ipv4.tcp_syncookies=1
kernel.dmesg_restrict=1
net.ipv6.conf.all.accept_redirects=0
net.ipv6.conf.default.accept_redirects=0

修改内核参数（上面的 99-sysctl.conf 配置文件已经修）

# 1、加载br_netfilter模块
modprobe br_netfilter

# 2、验证模块是否加载成功
lsmod | grep br_netfilter

# 3、修改内核参数
cat > /etc/sysctl.d/99-sysctl.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
user.max_user_namespaces=28633
net.ipv4.ip_forward = 1
EOF

# 4、使刚才修改的内核参数生效，此处使用的是 99-sysctl.conf 配置文件。
sysctl -p /etc/sysctl.d/99-sysctl.conf

sysctl 命令用于运行时配置内核参数，这些参数位于 “/proc/sys” 目录下。sysctl 配置与显示在 “/proc/sys” 目录中的内核参数。可以用 sysctl 来设置或重新设置联网功能，如 IP 转发、IP 碎片去除以及源路由检查等。用户只需要编辑 “/etc/sysctl.conf” 文件，即可手工或自动执行由 sysctl 控制的功能。

8. 配置服务器支持开启 IPVS 的前提条件（K8s 推荐配置）

IPVS 称之为 IP虚拟服务器（IP Virtual Server，简写为 IPVS）。是运行在 LVS 下的提供负载平衡功能的一种技术。

IPVS 基本上是一种高效的 Layer-4 交换机，它提供负载平衡的功能。

由于 IPVS 已经加入到了 Linux 内核的主干，所以为 kube-proxy（Kubernetes Service） 开启 IPVS 的前提需要加载以下的 Linux 内核模块：

ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack_ipv4 # 或 nf_conntrack

在所有服务器集群节点上执行以下脚本

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4 # 若提示在内核中找不到 nf_conntrack_ipv4, 可以让是切换 nf_conntrack
EOF

# 或者 grep -e ip_vs -e nf_conntrack
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

上面脚本创建了的 “/etc/sysconfig/modules/ipvs.modules” 文件，保证在节点重启后能自动加载所需模块。 可执行命令 【lsmod | grep -e ip_vs -e nf_conntrack_ipv4】查看所需内核模块是否正确加载。

接下来还需要确保各个节点上已经安装了 ipset 软件包，为了便于查看 ipvs 的代理规则，最好安装一下管理工具 ipvsadm。

yum install -y ipset ipvsadm

如果不满足以上前提条件，则即使 kube-proxy 的配置开启了 ipvs 模式，也会退回到 iptables 模式。

9. 同步系统时间

ntpdate 指令通过轮询指定为服务器参数的 网络时间协议(NTP) 服务器来设置本地日期和时间，从而确定正确的时间。

此命令的适用范围：RedHat、RHEL、Ubuntu、CentOS、Fedora。

# 安装 ntpdate 
yum install ntpdate -y

# 执行同步命令
ntpdate time.windows.com
# 跟网络源做同步
ntpdate cn.pool.ntp.org

# 把时间同步做成计划任务
crontab -e
* */1 * * * /usr/sbin/ntpdate   cn.pool.ntp.org

# 重启crond服务
service crond restart

# 查看当前时区
date -R

同步系统时间输出如下信息

[root@k8s-master-01 /]# ntpdate time.windows.com
29 May 16:19:17 ntpdate[7873]: adjust time server 20.189.79.72 offset +0.001081 sec

IPVS 和 IPTABLES 对比分析

IPVS 是什么？

IPVS (IP Virtual Server) 实现了传输层负载均衡，也就是我们常说的 4 层局域网交换机（LAN Switches），作为 Linux 内核的一部分。IPVS 运行在主机上，在真实服务器集群前充当负载均衡器。IPVS 可以将基于 TCP 和 UDP 的服务请求转发到真实服务器上，并使真实服务器的服务在单个 IP 地址上显示为虚拟服务。

IPVS 和 IPTABLES 对比分析

kube-proxy 支持 iptables 和 ipvs 两种模式， 在 kubernetes v1.8 中引入了 ipvs 模式，在 v1.9 中处于 beta 阶段，在 v1.11 中已经正式可用了。iptables 模式在 v1.1 中就添加支持了，从 v1.2 版本开始 iptables 就是 kube-proxy 默认的操作模式，ipvs 和 iptables 都是基于 netfilter 的，但是 ipvs 采用的是 hash 表，因此当 service 数量达到一定规模时，hash 查表的速度优势就会显现出来，从而提高 service 的服务性能。

那么 ipvs 模式和 iptables 模式之间有哪些差异呢？

1. ipvs 为大型集群提供了更好的可扩展性和性能
2. ipvs 支持比 iptables 更复杂的复制均衡算法（最小负载、最少连接、加权等等）
3. ipvs 支持服务器健康检查和连接重试等功能

在 k8s 的集群环境中，推荐配置 ipvs ，为一定数量规模的 service 提高服务性能。

安装 containerd/kubeadm/kubelet（所有节点）

Containerd 简介

Containerd 是一个工业级标准的容器运行时，它强调简单性、健壮性和可移植性，具备如下功能：

• 管理容器的生命周期（从创建容器到销毁容器）
• 拉取/推送容器镜像
• 存储管理（管理镜像及容器数据的存储）
• 调用 runc 运行容器（与 runc 等容器运行时交互）
• 管理容器网络接口及网络

自 Kubernetes v1.24 起，Dockershim 已被删除，由于社区的关注，Docker 和 Mirantis 共同决定继续以 [cri-dockerd] 的形式支持 dockershim 代码（https://www.mirantis.com/blog/the-future-of-dockershim-is -cri-dockerd/)， 允许你在需要时继续使用 Docker Engine 作为容器运行时。对于想要尝试其他运行时（如 containerd 或 cri-o） 的用户，已编写迁移文档（https://kubernetes.io/zh/docs/tasks/administer-cluster/migrating-from-dockershim/change-runtime-containerd/）。

查看删除 Dockershim 的原因

• Dockershim：历史背景 =》 https://kubernetes.io/zh/blog/2022/05/03/dockershim-historical-context/

如果试图将链从最终用户（user）绘制到实际的容器进程（runc），它可能如下所示：

runc 是一个命令行客户端，用于运行根据 OCI（开放容器计划，Open Container Initiative/OCI) 格式打包的应用程序，并且是 OCI 规范的兼容实现。

使用 Containerd 的理由

• Kubernetes 在 v1.23 版本及以后版本不再默认采用 Docker/Dockershim ，而建议采用 Containerd；
• Containerd 比 Docker/Dockershim 更加轻量级，在生产环境中使用更佳合适（稳定，性能）；

Containerd 安装

下面我们进行 containerd 容器运行时的安装，操作如下：

1. 安装 wget （可选）

由于 openEuler 系统本身集成了 curl ，安装 wget 不是必须项。

# 安装 wget
sudo yum install wget -y

# 此处安装的 wget 版本信息
...
Installed:
  wget-1.20.3-2.oe1.x86_64

2. 下载 containerd

分别使用 wget 和 curl 下载 containerd v1.6.4 版本。

# 使用 wget 下载 containerd v1.6.4
sudo wget https://github.com/containerd/containerd/releases/download/v1.6.4/cri-containerd-cni-1.6.4-linux-amd64.tar.gz

# 使用 curl 下载 containerd v1.6.4
curl -L https://github.com/containerd/containerd/releases/download/v1.6.4/cri-containerd-cni-1.6.4-linux-amd64.tar.gz -O cri-containerd-cni-1.6.4-linux-amd64.tar.gz

3. 安装 tar

tar 命令简介

• Linux tar（英文全拼：tape archive ）命令用于备份文件。
• tar 是用来建立，还原备份文件的工具程序，它可以加入，解开备份文件内的文件。

# 安装 tar
sudo yum install -y tar

# 查看压缩包包含哪些文件
sudo tar -tf cri-containerd-cni-1.6.4-linux-amd64.tar.gz 

# 将压缩包解压至 cri-containerd-cni 文件夹（这里用命令创建 cri-containerd-cni文件夹，因为没有实现创建该文件夹），防止将文件都解压缩到当前文件夹（可以看到有etc、opt、usr三个子文件夹）。
sudo tar xzf cri-containerd-cni-1.6.4-linux-amd64.tar.gz -C cri-containerd-cni | mkdir cri-containerd-cni

cri-containerd-cni-1.6.4-linux-amd64.tar.gz 文件中包含三个文件夹，分别是【etc、opt、usr】，如下图所示：

4. 安装 containerd

# 解压 containerd 到根目录
tar zxvf cri-containerd-cni-1.6.0-linux-amd64.tar.gz -C /

# 生成 containerd 默认配置
mkdir -p /etc/containerd
containerd config default > /etc/containerd/config.toml

注意：确认 containerd 可执行文件所在目录在 PATH 环境变量中。

5. 配置 containerd 软件源

参考配置文件 “/etc/containerd/config.toml” 如下：

disabled_plugins = []
imports = []
oom_score = 0
plugin_dir = ""
required_plugins = []
root = "/var/lib/containerd"
state = "/run/containerd"
version = 2

[cgroup]
  path = ""

[debug]
  address = ""
  format = ""
  gid = 0
  level = ""
  uid = 0

[grpc]
  address = "/run/containerd/containerd.sock"
  gid = 0
  max_recv_message_size = 16777216
  max_send_message_size = 16777216
  tcp_address = ""
  tcp_tls_cert = ""
  tcp_tls_key = ""
  uid = 0

[metrics]
  address = ""
  grpc_histogram = false

[plugins]

  [plugins."io.containerd.gc.v1.scheduler"]
    deletion_threshold = 0
    mutation_threshold = 100
    pause_threshold = 0.02
    schedule_delay = "0s"
    startup_delay = "100ms"

  [plugins."io.containerd.grpc.v1.cri"]
    disable_apparmor = false
    disable_cgroup = false
    disable_hugetlb_controller = true
    disable_proc_mount = false
    disable_tcp_service = true
    enable_selinux = false
    enable_tls_streaming = false
    ignore_image_defined_volumes = false
    max_concurrent_downloads = 3
    max_container_log_line_size = 16384
    netns_mounts_under_state_dir = false
    restrict_oom_score_adj = false
    #sandbox_image = "k8s.gcr.io/pause:3.6"
# 1. 修改基础镜像地址（此处以阿里云为例）
    #sandbox_image = "registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.6"
    sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.7"
    selinux_category_range = 1024
    stats_collect_period = 10
    stream_idle_timeout = "4h0m0s"
    stream_server_address = "127.0.0.1"
    stream_server_port = "0"
    systemd_cgroup = false
    tolerate_missing_hugetlb_controller = true
    unset_seccomp_profile = ""

    [plugins."io.containerd.grpc.v1.cri".cni]
      bin_dir = "/opt/cni/bin"
      conf_dir = "/etc/cni/net.d"
      conf_template = ""
      max_conf_num = 1

    [plugins."io.containerd.grpc.v1.cri".containerd]
      default_runtime_name = "runc"
      disable_snapshot_annotations = true
      discard_unpacked_layers = false
      no_pivot = false
      snapshotter = "overlayfs"

      [plugins."io.containerd.grpc.v1.cri".containerd.default_runtime]
        base_runtime_spec = ""
        container_annotations = []
        pod_annotations = []
        privileged_without_host_devices = false
        runtime_engine = ""
        runtime_root = ""
        runtime_type = ""

        [plugins."io.containerd.grpc.v1.cri".containerd.default_runtime.options]

      [plugins."io.containerd.grpc.v1.cri".containerd.runtimes]

        [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
          base_runtime_spec = ""
          container_annotations = []
          pod_annotations = []
          privileged_without_host_devices = false
          runtime_engine = ""
          runtime_root = ""
          runtime_type = "io.containerd.runc.v2"

          [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
            BinaryName = ""
            CriuImagePath = ""
            CriuPath = ""
            CriuWorkPath = ""
            IoGid = 0
            IoUid = 0
            NoNewKeyring = false
            NoPivotRoot = false
            Root = ""
            ShimCgroup = ""
            SystemdCgroup = false

      [plugins."io.containerd.grpc.v1.cri".containerd.untrusted_workload_runtime]
        base_runtime_spec = ""
        container_annotations = []
        pod_annotations = []
        privileged_without_host_devices = false
        runtime_engine = ""
        runtime_root = ""
        runtime_type = ""

        [plugins."io.containerd.grpc.v1.cri".containerd.untrusted_workload_runtime.options]

    [plugins."io.containerd.grpc.v1.cri".image_decryption]
      key_model = "node"

    [plugins."io.containerd.grpc.v1.cri".registry]
      config_path = ""

      [plugins."io.containerd.grpc.v1.cri".registry.auths]

      [plugins."io.containerd.grpc.v1.cri".registry.configs]

      [plugins."io.containerd.grpc.v1.cri".registry.headers]

      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
# 2. 设置仓库地址（镜像源）
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
          endpoint = ["https://usydjf4t.mirror.aliyuncs.com","https://mirror.ccs.tencentyun.com","https://registry.docker-cn.com","http://hub-mirror.c.163.com"]
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."k8s.gcr.io"]
          endpoint = ["https://registry.cn-hangzhou.aliyuncs.com/google_containers"]
#       [plugins."io.containerd.grpc.v1.cri".registry.mirrors."192.168.0.187:5000"]
#         endpoint = ["http://192.168.0.187:5000"]
#       [plugins."io.containerd.grpc.v1.cri".registry.configs]
#         [plugins."io.containerd.grpc.v1.cri".registry.configs."192.168.0.187:5000".tls]
#           insecure_skip_verify = true
#         [plugins."io.containerd.grpc.v1.cri".registry.configs."harbor.creditgogogo.com".auth]
#           username = "admin"
#           password = "Harbor12345"

    [plugins."io.containerd.grpc.v1.cri".x509_key_pair_streaming]
      tls_cert_file = ""
      tls_key_file = ""

  [plugins."io.containerd.internal.v1.opt"]
    path = "/opt/containerd"

  [plugins."io.containerd.internal.v1.restart"]
    interval = "10s"

  [plugins."io.containerd.metadata.v1.bolt"]
    content_sharing_policy = "shared"

  [plugins."io.containerd.monitor.v1.cgroups"]
    no_prometheus = false

  [plugins."io.containerd.runtime.v1.linux"]
    no_shim = false
    runtime = "runc"
    runtime_root = ""
    shim = "containerd-shim"
    shim_debug = false

  [plugins."io.containerd.runtime.v2.task"]
    platforms = ["linux/amd64"]

  [plugins."io.containerd.service.v1.diff-service"]
    default = ["walking"]

  [plugins."io.containerd.snapshotter.v1.aufs"]
    root_path = ""

  [plugins."io.containerd.snapshotter.v1.btrfs"]
    root_path = ""

  [plugins."io.containerd.snapshotter.v1.devmapper"]
    async_remove = false
    base_image_size = ""
    pool_name = ""
    root_path = ""

  [plugins."io.containerd.snapshotter.v1.native"]
    root_path = ""

  [plugins."io.containerd.snapshotter.v1.overlayfs"]
    root_path = ""

  [plugins."io.containerd.snapshotter.v1.zfs"]
    root_path = ""

[proxy_plugins]

[stream_processors]

  [stream_processors."io.containerd.ocicrypt.decoder.v1.tar"]
    accepts = ["application/vnd.oci.image.layer.v1.tar+encrypted"]
    args = ["--decryption-keys-path", "/etc/containerd/ocicrypt/keys"]
    env = ["OCICRYPT_KEYPROVIDER_CONFIG=/etc/containerd/ocicrypt/ocicrypt_keyprovider.conf"]
    path = "ctd-decoder"
    returns = "application/vnd.oci.image.layer.v1.tar"

  [stream_processors."io.containerd.ocicrypt.decoder.v1.tar.gzip"]
    accepts = ["application/vnd.oci.image.layer.v1.tar+gzip+encrypted"]
    args = ["--decryption-keys-path", "/etc/containerd/ocicrypt/keys"]
    env = ["OCICRYPT_KEYPROVIDER_CONFIG=/etc/containerd/ocicrypt/ocicrypt_keyprovider.conf"]
    path = "ctd-decoder"
    returns = "application/vnd.oci.image.layer.v1.tar+gzip"

[timeouts]
  "io.containerd.timeout.shim.cleanup" = "5s"
  "io.containerd.timeout.shim.load" = "5s"
  "io.containerd.timeout.shim.shutdown" = "3s"
  "io.containerd.timeout.task.state" = "2s"

[ttrpc]
  address = ""
  gid = 0
  uid = 0

被修改的 “/etc/containerd/config.toml” 文件配置说明：

1、基础镜像设置

• sandbox_image 设置国内基础镜像源地址。

2、镜像仓库设置

• “docker.io” 配置 docker 公共镜像仓库源。
• “k8s.gcr.io” 配置 k8s 仓库源。
• 其中 “192.168.0.187:5000” 是私人仓库地址(没有可以配置)。
• insecure_skip_verify = true 意为跳过 tls 证书认证。
• “harbor.creditgogogo.com”.auth 设置仓库用户名和密码。

6. 启动 containerd 并设置为开机启动

由于上面下载的 containerd 压缩包中包含一个 “etc/systemd/system/containerd.service” 的文件，这样我们就可以通过 systemd 来配置 containerd 作为守护进程运行。

[root@k8s-master-01 /]# ls etc/systemd/system/
bluetooth.target.wants  cron.service         dbus-org.bluez.service                      default.target      multi-user.target.wants      sockets.target.wants  timedatex.service
containerd.service      ctrl-alt-del.target  dbus-org.freedesktop.nm-dispatcher.service  getty.target.wants  network-online.target.wants  sysinit.target.wants  timers.target.wants

启动 containerd

# 启动 containerd，并设置为开机启动
systemctl daemon-reload && systemctl enable containerd && systemctl start containerd
# 查看 containerd 状态
systemctl status containerd
# 重启 containerd 
systemctl restart containerd

此处启动 containerd 可能会显示如下信息：

System has not been booted with systemd as init system (PID 1). Can't operate.
Failed to connect to bus: Host is down

因为 wsl 子系统不能使用 systemd（基于 systemctl 或 service 命令的服务无法运行）。了解更多信息，请查看【WSL2 中使用 systemctl 命令】。

• WSL2 中使用 systemctl 命令 =》https://www.isolves.com/it/qt/2020-12-10/34360.html

查看 “etc/systemd/system/containerd.service” 文件

cat etc/systemd/system/containerd.service

输出配置信息如下：

# Copyright The containerd Authors.
# 
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

[Unit]
Description=containerd container runtime
Documentation=https://containerd.io
After=network.target local-fs.target

[Service]
ExecStartPre=-/sbin/modprobe overlay
ExecStart=/usr/local/bin/containerd

Type=notify
Delegate=yes
KillMode=process
Restart=always
RestartSec=5
# Having non-zero Limit*s causes performance problems due to accounting overhead
# in the kernel. We recommend using cgroups to do container-local accounting.
LimitNPROC=infinity
LimitCORE=infinity
LimitNOFILE=infinity
# Comment TasksMax if your systemd version does not supports it.
# Only systemd 226 and above support this version.
TasksMax=infinity
OOMScoreAdjust=-999

[Install]
WantedBy=multi-user.target

这里有两个重要的参数：

• Delegate：这个选项允许 containerd 以及运行时自己管理自己创建容器的 cgroups。如果不设置这个选项，systemd 就会将进程移到自己的 cgroups 中，从而导致 containerd 无法正确获取容器的资源使用情况。

• KillMode：这个选项用来处理 containerd 进程被杀死的方式。默认情况下，systemd 会在进程的 cgroup 中查找并杀死 containerd 的所有子进程。

KillMode 字段可以设置的值如下：

• control-group：当前控制组里面的所有子进程，都会被杀掉
• process：只杀主进程
• mixed：主进程将收到 SIGTERM 信号，子进程收到 SIGKILL 信号
• none：没有进程会被杀掉，只是执行服务的 stop 命令

注意：需要将 KillMode 的值设置为 process，这样可以确保升级或重启 containerd 时不杀死现有的容器。

7. 查看 containerd 信息

crictl info
# 更多使用
crictl --help

K8s 配置阿里云 repo 文件（yum 软件源）

默认配置是国外的镜像源，由于国内网络原因无法访问，所以配置阿里云的 yum 软件源。

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

阿里云 Kubernetes 镜像：

• 【容器】 https://developer.aliyun.com/mirror/?spm=a2c6h.13651102.0.0.3e221b11RAcHlc&serviceType=mirror&tag=%E5%AE%B9%E5%99%A8
• 【Kubernetes 镜像源】 https://developer.aliyun.com/mirror/kubernetes

安装 kubeadm、kubelet 和 kubectl（所有节点）

由于版本更新频繁，因此这里指定版本号部署。

yum install -y kubelet-1.24.1 kubeadm-1.24.1 kubectl-1.24.1

启动 kubelet 并设置开机启动

systemctl enable kubelet && systemctl start kubelet

ps: 由于官网未开放同步方式，可能会有索引 gpg 检查失败的情况，这时请用【yum install -y --nogpgcheck kubelet kubeadm kubectl 】安装。

部署 K8s Master 节点

1. K8s 集群初始化（kubeadm init）

依据上面的 vm 资源规划，在 master 节点（192.168.18.130）执行如下命令：

kubeadm init \
  --apiserver-advertise-address=192.168.18.130 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.24.1 \
  --service-cidr=10.96.0.0/12 \
  --pod-network-cidr=10.244.0.0/16 \
  --ignore-preflight-errors=all

参数说明：

• –apiserver-advertise-address 集群通告地址
• –image-repository 由于默认拉取镜像地址 k8s.gcr.io 国内无法访问，这里指定阿里云镜像仓库地址
• –kubernetes-version K8s 版本，与上面安装的一致
• –service-cidr 集群内部虚拟网络，Pod 统一访问入口
• –pod-network-cidr Pod网络，与下面部署的 CNI 网络组件 yaml 中保持一致
• –ignore-preflight-errors 忽略所有预检项的警告信息

或者使用配置文件引导：

$ vi kubeadm.conf
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: v1.24.1
imageRepository: registry.aliyuncs.com/google_containers 
networking:
  podSubnet: 10.244.0.0/16 
  serviceSubnet: 10.96.0.0/12 

$ kubeadm init --config kubeadm.conf --ignore-preflight-errors=all  

kubeadm init 初始化成功，输出如下信息：

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.18.130:6443 --token pc5d3x.9ccv3m5y1llljk90 \
	--discovery-token-ca-cert-hash sha256:3f7b37c18a5ec21c3e225025e13a0ac53e7abdf717859808b24f9bc909b32b5b

此处注意保存下 kubeadm init 初始化产生的信息，方便下面环节的部署操作使用。

2. 拷贝文件到默认路径

拷贝 kubectl 使用的连接 k8s 认证文件到默认路径

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

3. 查看 k8s 集群节点信息

[root@k8s-master-01 ~]# kubectl get node
NAME            STATUS   ROLES           AGE     VERSION
k8s-master-01   Ready    control-plane   4h8m    v1.24.1
k8s-node-01     Ready    <none>          3h14m   v1.24.1
k8s-node-02     Ready    <none>          3h14m   v1.24.1

4. 查看 containerd 拉取的镜像

[root@k8s-master-01 /]# crictl image ls
IMAGE                                                             TAG                 IMAGE ID            SIZE
docker.io/calico/cni                                              v3.23.1             90d97aa939bbf       111MB
docker.io/calico/node                                             v3.23.1             fbfd04bbb7f47       76.6MB
registry.aliyuncs.com/google_containers/coredns                   v1.8.6              a4ca41631cc7a       13.6MB
registry.aliyuncs.com/google_containers/etcd                      3.5.3-0             aebe758cef4cd       102MB
registry.aliyuncs.com/google_containers/kube-apiserver            v1.24.1             e9f4b425f9192       33.8MB
registry.aliyuncs.com/google_containers/kube-controller-manager   v1.24.1             b4ea7e648530d       31MB
registry.aliyuncs.com/google_containers/kube-proxy                v1.24.1             beb86f5d8e6cd       39.5MB
registry.aliyuncs.com/google_containers/kube-scheduler            v1.24.1             18688a72645c5       15.5MB
registry.aliyuncs.com/google_containers/pause                     3.7                 221177c6082a8       311kB

注意：上面的镜像除了 calico 相关的（docker.io/calico/cni 和 docker.io/calico/node） 之外，其他都是 kubectl int 初始化拉取的镜像资源。

Worker 节点加入 K8s 集群

1. k8s 集群环境加入新的 worker node

向集群添加新 node 节点，执行在 kubeadm init 输出的 kubeadm join 命令，分别在 worker node 执行如下命令：

kubeadm join 192.168.18.130:6443 --token pc5d3x.9ccv3m5y1llljk90 \
	--discovery-token-ca-cert-hash sha256:3f7b37c18a5ec21c3e225025e13a0ac53e7abdf717859808b24f9bc909b32b5b

2. 生成加入 k8s 集群环境的 token

默认 token 有效期为 24 小时，当过期之后，该 token 就不可用了。这时就需要重新创建 token，操作如下：

$ kubeadm token create
$ kubeadm token list
$ openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
63bca849e0e01691ae14eab449570284f0c3ddeea590f8da988c07fe2729e924

$ kubeadm join 192.168.31.61:6443 --token nuja6n.o3jrhsffiqs9swnu --discovery-token-ca-cert-hash sha256:63bca849e0e01691ae14eab449570284f0c3ddeea590f8da988c07fe2729e924

或者直接命令快捷生成

kubeadm token create --print-join-command

• 参考文档 =》https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-join/

部署容器网络/CNI（所有节点）

1. CNI 简介

CNI 全称是 Container Network Interface，即容器网络的 API 接口。

它是 K8s 中标准的一个调用网络实现的接口。Kubelet 通过这个标准的 API 来调用不同的网络插件以实现不同的网络配置方式。

CNI 插件就是实现了一系列的 CNI API 接口。常见的 CNI 插件包括 Calico、Flannel、Terway、Weave Net 以及 Contiv。

2. CNI 分类及选型参考

CNI 插件可以分为三种：Overlay、路由及 Underlay。

• 【Overlay 模式】的典型特征是容器独立于主机的 IP 段，这个 IP 段进行跨主机网络通信时是通过在主机之间创建隧道的方式，将整个容器网段的包全都封装成底层的物理网络中主机之间的包。该方式的好处在于它不依赖于底层网络；
• 【路由模式】中主机和容器也分属不同的网段，它与 Overlay 模式的主要区别在于它的跨主机通信是通过路由打通，无需在不同主机之间做一个隧道封包。但路由打通就需要部分依赖于底层网络，比如说要求底层网络有二层可达的一个能力；
• 【Underlay 模式】中容器和宿主机位于同一层网络，两者拥有相同的地位。容器之间网络的打通主要依靠于底层网络。因此该模式是强依赖于底层能力的。

对于 CNI 插件的选择，有以下几个维度参考：

• 环境限制，不同环境中所支持的底层能力是不同的。
• 功能需求
• 性能需求

了解更多可以参考 =》https://www.kubernetes.org.cn/6908.html

注意：CNI 插件只需要部署其中一个即可，这里推荐 Calico 或 Flannel。

3. Calico 简介

Calico 是一个纯三层的数据中心网络方案，Calico 支持广泛的平台，包括 Kubernetes、OpenStack 等。

Calico 在每一个计算节点利用 Linux Kernel 实现了一个高效的虚拟路由器（ vRouter） 来负责数据转发，而每个 vRouter 通过 BGP 协议负责把自己上运行的 workload 的路由信息向整个 Calico 网络内传播。

此外，Calico 项目还实现了 Kubernetes 网络策略，提供 ACL 功能。

4. 下载 Calico 插件

wget https://docs.projectcalico.org/manifests/calico.yaml

5. 修改里面定义的 Pod 网络

下载完后还需要修改里面定义 Pod 网络（CALICO_IPV4POOL_CIDR），与前面 kubeadm init 指定的一样【–pod-network-cidr=10.244.0.0/16】

# The default IPv4 pool to create on startup if none exists. Pod IPs will be
# chosen from this range. Changing this value after installation will have
# no effect. This should fall within `--cluster-cidr`.
# - name: CALICO_IPV4POOL_CIDR
#   value: "192.168.0.0/16"
- name: CALICO_IPV4POOL_CIDR
  value: "10.244.0.0/16"

查找 CALICO_IPV4POOL_CIDR

vi calico.yaml
...
/CALICO_IPV4POOL_CIDR

6. 应用 calico.yaml 配置

修改完后应用 calico.yaml 清单

kubectl apply -f calico.yaml

输出如下信息：

[root@k8s-master-01 /]# ls
bin  boot  calico.yaml  cri-containerd-cni-1.6.4-linux-amd64.tar.gz  dev  etc  home  lib  lib64  lost+found  media  mnt  opt  proc  root  run  sbin  srv  sys  tmp  usr  var
[root@k8s-master-01 /]# kubectl apply -f calico.yaml
configmap/calico-config created
customresourcedefinition.apiextensions.k8s.io/bgpconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/bgppeers.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/blockaffinities.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/caliconodestatuses.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/clusterinformations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/felixconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/globalnetworkpolicies.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/globalnetworksets.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/hostendpoints.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ipamblocks.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ipamconfigs.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ipamhandles.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ippools.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ipreservations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/kubecontrollersconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/networkpolicies.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/networksets.crd.projectcalico.org created
clusterrole.rbac.authorization.k8s.io/calico-kube-controllers created
clusterrolebinding.rbac.authorization.k8s.io/calico-kube-controllers created
clusterrole.rbac.authorization.k8s.io/calico-node created
clusterrolebinding.rbac.authorization.k8s.io/calico-node created
daemonset.apps/calico-node created
serviceaccount/calico-node created
poddisruptionbudget.policy/calico-kube-controllers created

7. 查看命名空间 kube-system 下的 pod

kubectl get pods -n kube-system

输出如下信息：

[root@k8s-master-01 /]# kubectl get pods -n kube-system
NAME                                       READY   STATUS             RESTARTS        AGE
calico-kube-controllers-56cdb7c587-mfl9d   1/1     Running            22 (21m ago)    126m
calico-node-2dtr8                          0/1     Running            35 (5s ago)     126m
calico-node-hmdkf                          0/1     CrashLoopBackOff   35 (2m6s ago)   126m
calico-node-l6448                          0/1     Error              38 (70s ago)    126m
coredns-74586cf9b6-b5r68                   1/1     Running            0               7h5m
coredns-74586cf9b6-jndhp                   1/1     Running            0               7h6m
etcd-k8s-master-01                         1/1     Running            0               7h9m
kube-apiserver-k8s-master-01               1/1     Running            6 (20m ago)     7h9m
kube-controller-manager-k8s-master-01      0/1     CrashLoopBackOff   23 (119s ago)   7h9m
kube-proxy-ctx7q                           1/1     Running            0               7h6m
kube-proxy-l72sj                           1/1     Running            0               6h15m
kube-proxy-s65x9                           1/1     Running            0               6h15m
kube-scheduler-k8s-master-01               0/1     CrashLoopBackOff   21 (119s ago)   7h9m

测试 K8s 集群

• 验证 Pod 工作
• 验证 Pod 网络通信
• 验证 DNS 解析

在 K8s 集群中创建一个 Pod，验证是否正常运行：

kubectl create deployment nginx --image=nginx:latest -p 80:8080
kubectl expose deployment nginx --port=8080 --type=NodePort
kubectl get pod,svc

访问 nginx 的 svc 地址：

http://NodeIP:Port  

关于 K8s nodePort、port、targetPort、hostPort 端口的介绍 =》https://www.jianshu.com/p/8275f2031c83

在 Master 节点部署 Dashboard

1. 下载 dashboard 的 recommended.yaml 配置文件

wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.5.1/aio/deploy/recommended.yaml

2. recommended.yaml 文件重命名（可选）

把下载的 recommended.yaml 文件重命名为 dashboard-v2.5.1.yaml （可选，方便文件记录）

mv recommended.yaml dashboard-v2.5.1.yaml 

3. 修改 Dashboard 配置文件暴露到外部访问

默认 Dashboard 只能集群内部访问，修改 Service 为 NodePort 类型，暴露到外部访问：

$ vi dashboard-v2.5.1.yaml
---
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001
  selector:
    k8s-app: kubernetes-dashboard
  type: NodePort
---

4. 执行 dashboard-v2.5.1.yaml 配置文件

kubectl apply -f dashboard-v2.5.1.yaml 

输出如下信息：

[root@k8s-master-01 /]# kubectl apply -f /root/dashboard-v2.5.1.yaml
namespace/kubernetes-dashboard created
serviceaccount/kubernetes-dashboard created
service/kubernetes-dashboard created
secret/kubernetes-dashboard-certs created
secret/kubernetes-dashboard-csrf created
secret/kubernetes-dashboard-key-holder created
configmap/kubernetes-dashboard-settings created
role.rbac.authorization.k8s.io/kubernetes-dashboard created
clusterrole.rbac.authorization.k8s.io/kubernetes-dashboard created
rolebinding.rbac.authorization.k8s.io/kubernetes-dashboard created
clusterrolebinding.rbac.authorization.k8s.io/kubernetes-dashboard created
deployment.apps/kubernetes-dashboard created
service/dashboard-metrics-scraper created
deployment.apps/dashboard-metrics-scraper created

5. 查看 kubernetes-dashboard

kubectl get pods -n kubernetes-dashboard

输出如下信息：

[root@k8s-master-01 /]# kubectl get pods -n kubernetes-dashboard
NAME                                         READY   STATUS              RESTARTS   AGE
dashboard-metrics-scraper-7bfdf779ff-q9tsk   0/1     ContainerCreating   0          74s
kubernetes-dashboard-6465b7f54c-frf2b        0/1     ContainerCreating   0          74s

[root@k8s-master-01 /]# kubectl get pods -n kubernetes-dashboard
NAME                                         READY   STATUS    RESTARTS   AGE
dashboard-metrics-scraper-7bfdf779ff-q9tsk   1/1     Running   0          32m
kubernetes-dashboard-6465b7f54c-frf2b        1/1     Running   0          32m

6. 访问 kubernetes-dashboard

访问 kubernetes-dashboard 地址

https://NodeIP:30001

创建 ServiceAccount 并绑定默认 cluster-admin 管理员集群角色：

# 创建用户
$ kubectl create serviceaccount dashboard-admin -n kube-system

# 用户授权
$ kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin

# 获取用户 Token
$ kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

此处 master 节点的 ip 是 192.168.18.130，
浏览器访问地址 =》https://192.168.18.130:30001/#/login

最后使用输出的 token 登录 Dashboard。

总结

搭建 k8s 集群环境时，事先要规划编排好相关的资源环境以及各个组件的版本信息，开始部署之前务必保障系统环境准备事项的相关设置操作，此处我们采用的容器运行时是 containerd，由于默认的 yum 镜像源是国外环境，在国内网络环境无法访问，可配置国内的 yum 源（比如：阿里云 yum 镜像源）保障网络资源的连通性和可访问性，方便后面环节的相关操作（比如：containerd/kubeadm/kubelet 的安装、k8s master 节点的部署、容器网络 CNI 安装及网络编排）。

每一个环节都很重要，中途遇到异常，多查看资料分析下原因，关键在于理解。