k8s集群部署过程实践笔记共两种版本：一为专注部署操作，一为涉及部署操作讲解。本文为前者。
本文介绍了如何在两台 ubuntu 16.04 64 bit 双核 CPU 虚拟机上使用 kubeadm 部署 Kubernetes 1.17.0 集群的过程，网络插件为 flannel，镜像源为阿里云。本文具有一定实践参考意义。

一、环境

两台ubuntu 16.04 64 bit，2GB内存，双核 CPU。
环境要求和设置：
两主机，一为 master，一为 node。master 主机名称为 ubuntu。node 主机名称为 node。操作系统的主机名称要确保不同。
工程目录为：$HOME/k8s。
所有操作使用 root 权限执行（注：理论上普通用户亦可，为避免权限问题，故出此下策）。

本文部署的k8s版本为1.17.0。部署日期约2019年12月中旬~下旬，请注意时效性。

二、安装docker

apt-get install docker.io

新加 /etc/docker/daemon.json 文件，添加：

{
  "registry-mirrors": [
    "https://a8qh6yqv.mirror.aliyuncs.com",
    "http://hub-mirror.c.163.com"
  ],
  "exec-opts": ["native.cgroupdriver=systemd"]
}

释义：
registry-mirrors 为镜像加速器地址。
native.cgroupdriver=systemd 表示使用的 cgroup 驱动为 systemd（k8s 使用此方式），默认为 cgroupfs。修改原因是 kubeadm.conf 中修改k8s的驱动方式不成功。

重启docker，查看 cgroup：

# docker info | grep -i cgroup
Cgroup Driver: systemd

出现 systemd 表示修改成功。

三、部署 k8s master 主机

k8s的部署分 master 主机和 node 节点。本节为 master 主机。

3.1 关闭swap

编辑/etc/fstab文件，注释掉swap分区挂载的行，示例：

# swap was on /dev/sda5 during installation
UUID=aaa38da3-6e60-4e9d-bfc6-7128fd05f1c7 none swapsw  0  0

再执行：

# sudo swapoff -a

3.2 添加国内k8s源

此处选择阿里云的：

# cat <<EOF > /etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF

添加key：

# cat https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -

如不成功，则先通过一些方法下载：https://packages.cloud.google.com/apt/doc/apt-key.gpg ，放到工程目录。再执行：

# cat apt-key.gpg | sudo apt-key add -

3.3 更新源

# apt-get update

安装 kubeadm、kubectl、kubelet、kubernetes-cni 等工具。

# apt-get install -y kubeadm kubectl kubelet kubernetes-cni

3.4 获取部署所需的镜像版本

# kubeadm config images list

输出如下：

k8s.gcr.io/kube-apiserver:v1.17.0
k8s.gcr.io/kube-controller-manager:v1.17.0
k8s.gcr.io/kube-scheduler:v1.17.0
k8s.gcr.io/kube-proxy:v1.17.0
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.4.3-0
k8s.gcr.io/coredns:1.6.5

前面提示的警告信息可不理会。此处是确认本版本 kubeadm 匹配的镜像的版本，因为各组件版本不同可能出现兼容性问题。

3.5 拉取镜像文件。

一般地，国内无法直接下载 k8s.gcr.io 的镜像。方式有二：
1、在初始化k8s时，使用阿里云镜像地址，此地址可以顺利下载，见下初始化。
2、自行下载好前述镜像。

3.6 网络

经实践，此步骤不做亦可。

3.7 下载flannel镜像

docker pull quay.io/coreos/flannel:v0.11.0-amd64

注：如果无法下载，需要使用其它方法。

3.8 初始化

kubeadm init --pod-network-cidr=10.244.0.0/16 \
  --image-repository registry.aliyuncs.com/google_containers

提示信息如下：

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.0.102:6443 --token 1rpp8b.axfud1xrsvx4q8nw \
    --discovery-token-ca-cert-hash sha256:6bf952d45bbdc121fa90583eac33f11f0a3f4b491f29996a56fc289363843e3c 

根据提示，根据拷贝 admin.conf 文件到当前用户相应目录下。admin.conf文件后续会使用到（需要拷贝到 node 节点）。

# mkdir -p $HOME/.kube
# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# sudo chown $(id -u):$(id -g) $HOME/.kube/config

此时 pod 状态如下：

# kubectl get pods -n kube-system
NAME                             READY   STATUS    RESTARTS   AGE
coredns-9d85f5447-67qtv          0/1     Pending   0          3h26m
coredns-9d85f5447-cg87c          0/1     Pending   0          3h26m
etcd-ubuntu                      1/1     Running   0          3h27m
kube-apiserver-ubuntu            1/1     Running   0          3h27m
kube-controller-manager-ubuntu   1/1     Running   0          3h27m
kube-proxy-chqbq                 1/1     Running   0          3h26m
kube-scheduler-ubuntu            1/1     Running   0          3h27m

除 coredns 状态为 Pending外，其它 pod 均运行。这是因为没有部署网络插件导致的。本文选用 flannel 。

3.9 部署flannel

修改 coredns 的 ConfigMap：

kubectl edit cm coredns -n kube-system

默认使用VIM编辑，删除 loop 字段的那一行（用dd命令）。再输入 :wq 保存退出。

执行如下命令部署 flannel：

# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

释义：
使用 flannel 仓库的 kube-flannel.yml 文件部署。详细可参考该文件。
如果无法访问，则可手动下载 https://github.com/coreos/flannel/blob/master/Documentation/kube-flannel.yml 文件到当前目录，再执行 kubectl apply -f kube-flannel.yml 命令。

注意：
如果先部署 flannel ，再修改 ConfigMap 的话，需要手动删除出问题的所有的 coredns，示例：

# kubectl delete pod coredns-9d85f5447-c9wn8 coredns-9d85f5447-tvpbg -n kube-system

片刻后，再查看 pod：

# kubectl get pod -n kube-system
NAME                             READY   STATUS    RESTARTS   AGE
coredns-9d85f5447-67qtv          1/1     Running   0          10s
coredns-9d85f5447-cg87c          1/1     Running   0          10s
etcd-ubuntu                      1/1     Running   0          3h58m
kube-apiserver-ubuntu            1/1     Running   0          3h58m
kube-controller-manager-ubuntu   1/1     Running   0          3h58m
kube-flannel-ds-amd64-pjj5k      1/1     Running   0          14m
kube-proxy-chqbq                 1/1     Running   0          3h57m
kube-scheduler-ubuntu            1/1     Running   0          3h58m

全部 pod 已全部运行。至此，master 节点已部署成功。

四、node 节点

k8s的部署分 master 主机和 node 节点。本节为 node 节点。

4.1 前置条件

在 node 节点上操作。
1、安装kubeadm，见前述。
2、下载flannel镜像，见前述（如果不预先下载，在加入集群时会自动下载）。
3、将主机的 /etc/kubernetes/admin.conf 文件拷贝到 node 节点的 /etc/kubernetes/ 目录。（注：在　master 节点使用 scp 命令即可）

4.2 加入集群

执行如下命令以加入节点：

kubeadm join 192.168.0.102:6443 --token 1rpp8b.axfud1xrsvx4q8nw \
    --discovery-token-ca-cert-hash sha256:6bf952d45bbdc121fa90583eac33f11f0a3f4b491f29996a56fc289363843e3c 

五、验证

在 master 节点执行：

# kubectl get nodes       
NAME     STATUS   ROLES    AGE     VERSION
node     Ready    <none>   17m     v1.17.0
ubuntu   Ready    master   5h11m   v1.17.0

可以看到两台机器已为 Ready 状态。

验证通过，k8s部署成功。

参考资源

本文部署时主要参考如下文章并根据实际情况调整：

• https://juejin.im/post/5b8a4536e51d4538c545645c
• https://zhuanlan.zhihu.com/p/46341911
• https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/ （官方）