机器准备

准备三台机器

• k8s-master: 此机器用来安装k8s-master的操作环境

• k8s-node01: 此机器用来安装k8s node节点的环境

• k8s-node02: 此机器用来安装k8s node节点的环境

  使用虚拟机搭建，可以使用如下方式固定虚拟机ip：

  #修改网卡信息，修改内容如下
  [root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-网卡名
  
  TYPE="Ethernet"
  PROXY_METHOD="none"
  BROWSER_ONLY="no"
  BOOTPROTO="static" #修改为静态
  DEFROUTE="yes"
  IPV4_FAILURE_FATAL="no"
  IPV6INIT="yes"
  IPV6_AUTOCONF="yes"
  IPV6_DEFROUTE="yes"
  IPV6_FAILURE_FATAL="no"
  IPV6_ADDR_GEN_MODE="stable-privacy"
  NAME="ens33"
  UUID="7904fbea-1e28-4f8a-9a54-e11572fdc076"
  DEVICE="ens33"
  ONBOOT="yes"
  IPADDR=192.168.71.20  #修改为需要固定的ip地址
  NETMASK=255.255.255.0
  GATEWAY=192.168.71.1  #虚拟机对应的网关ip
  DNS1=61.139.2.69
  DNS2=202.98.96.68
  
  #重启网卡服务
  [root@localhost ~]# service network restart 
  #或者是使用
  [root@localhost ~]# systemctl restart network.service
  

安装依赖环境

1. 给机器设置主机名

   #三台机器分别设置
   [root@localhost ~]# hostnamectl set-hostname k8s-master
   [root@localhost ~]# hostnamectl set-hostname k8s-node1
   [root@localhost ~]# hostnamectl set-hostname k8s-node2
   #查看主机名
   [root@localhost ~]# hostname
   
   #配置ip-host映射关系,三台都要配置
   [root@localhost ~]# vi /etc/hosts
   192.168.71.20 k8s-master
   192.168.71.21 k8s-node1
   192.168.71.22 k8s-node2
   

2. 安装依赖环境

   [root@localhost ~]# yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git iproute lrzsz bash-completion tree bridgeutils unzip bind-utils gcc
   

3. 安装iptables，启动iptables，设置开机自启，清空iptables规则，保存当前规则到默认规则

   #关闭防火墙
   [root@localhost ~]# systemctl stop firewalld && systemctl disable firewalld
   #置空iptables
   [root@localhost ~]# yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save
   

4. 关闭selinux

   #关闭swap分区【虚拟内存】并且永久关闭虚拟内存
   [root@localhost ~]# swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
   #关闭selinux
   [root@localhost ~]# setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
   

5. 升级Linux内核为4.44版本

   [root@localhost ~]# rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm
   #安装内核
   [root@localhost ~]# yum --enablerepo=elrepo-kernel install -y kernel-lt
   #设置开机从新内核启动
   [root@localhost ~]# grub2-set-default 'CentOS Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)'
   #重启电脑
   [root@localhost ~]# reboot
   #查看内核
   [root@localhost ~]# uname -r
   

6. 调整内核参数，对于k8s

   [root@localhost ~]# cat > kubernetes.conf <<EOF
   net.bridge.bridge-nf-call-iptables=1
   net.bridge.bridge-nf-call-ip6tables=1
   net.ipv4.ip_forward=1
   net.ipv4.tcp_tw_recycle=0
   vm.swappiness=0
   vm.overcommit_memory=1
   vm.panic_on_oom=0
   fs.inotify.max_user_instances=8192
   fs.inotify.max_user_watches=1048576
   fs.file-max=52706963
   fs.nr_open=52706963
   net.ipv6.conf.all.disable_ipv6=1
   net.netfilter.nf_conntrack_max=2310720
   EOF
   #将优化内核文件拷贝到/etc/sysctl.d/文件夹下，这样优化文件开机的时候能够被调用
   [root@localhost ~]# cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
   #手动刷新，让优化文件立即生效
   [root@localhost ~]# sysctl -p /etc/sysctl.d/kubernetes.conf
   

7. 关闭系统不需要的服务

   [root@localhost ~]# systemctl stop postfix && systemctl disable postfix
   

8. 设置日志保存方式

   #创建保存日志的目录
   [root@localhost ~]# mkdir /var/log/journal
   #创建配置文件存放目录
   [root@localhost ~]# mkdir /etc/systemd/journald.conf.d
   #创建配置文件
   [root@localhost ~]# cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
   [Journal]
   Storage=persistent
   Compress=yes
   SyncIntervalSec=5m
   RateLimitInterval=30s
   RateLimitBurst=1000
   SystemMaxUse=10G
   SystemMaxFileSize=200M
   MaxRetentionSec=2week
   ForwardToSyslog=no
   EOF
   #重启systemd journald的配置
   [root@localhost ~]# systemctl restart systemd-journald
   
   

9. kube-proxy 开启 ipvs 前置条件

   [root@localhost ~]# modprobe br_netfilter
   [root@localhost ~]# cat > /etc/sysconfig/modules/ipvs.modules <<EOF
   #!/bin/bash
   modprobe -- ip_vs
   modprobe -- ip_vs_rr
   modprobe -- ip_vs_wrr
   modprobe -- ip_vs_sh
   modprobe -- nf_conntrack_ipv4
   EOF
   [root@localhost ~]# chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
   

docker安装

1. 安装docker

   [root@localhost ~]# yum install -y yum-utils device-mapper-persistent-data lvm2
   #紧接着配置一个稳定（stable）的仓库、仓库配置会保存到/etc/yum.repos.d/docker-ce.repo文件中
   #设置阿里云镜像安装
   [root@localhost ~]# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
   #更新Yum安装的相关Docke软件包&安装Docker CE
   [root@localhost ~]# yum update -y && yum install docker-ce
   

2. 设置docker daemon文件

   [root@localhost ~]# mkdir /etc/docker
   #注意： 一定注意编码问题，出现错误：查看命令：journalctl -amu docker 即可发现错误
   [root@localhost ~]# cat > /etc/docker/daemon.json <<EOF
   {
     "exec-opts": ["native.cgroupdriver=systemd"],
     "log-driver": "json-file",
     "log-opts": {
       "max-size": "100m"
     },
     "storage-driver": "overlay2",
     "storage-opts": [
       "overlay2.override_kernel_check=true"
     ]
   }
   EOF
   #创建，存储docker配置文件
   [root@localhost ~]# mkdir -p /etc/systemd/system/docker.service.d
   

3. 重启docker服务

   [root@localhost ~]# systemctl daemon-reload && systemctl restart docker && systemctl enable docker
   #如果启动失败使用该命令查看错误信息
   [root@localhost ~]# systemctl status docker.service
   

kubeadm[一键安装k8s]

1. 安装kubernetes的时候，需要安装kubelet, kubeadm等包，但k8s官网给的yum源是 packages.cloud.google.com，国内访问不了，此时我们可以使用阿里云的yum仓库镜像

   [root@localhost ~]# cat <<EOF > /etc/yum.repos.d/kubernetes.repo
   [kubernetes]
   name=Kubernetes
   baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
   enabled=1
   gpgcheck=0
   repo_gpgcheck=0
   gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
   http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
   EOF
   

2. 安装kubeadm、kubelet、kubectl

[root@localhost ~]# yum install -y kubeadm kubelet kubectl
#启动 kubelet
[root@localhost ~]# systemctl enable kubelet && systemctl start kubelet

集群安装

初始化主节点 — 只需要在主节点执行

#1、拉去yaml资源配置文件 
[root@localhost ~]# kubeadm config print init-defaults > kubeadm-config.yaml 

#2、修改yaml资源文件 
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: v1.19.3  #k8s版本
imageRepository: registry.aliyuncs.com/k8sxio
controlPlaneEndpoint: "192.168.71.20:6443"  #master节点ip
networking:
  serviceSubnet: "10.96.0.0/16"
  podSubnet: "10.100.0.1/16"  #容器组所在的网段
  dnsDomain: "cluster.local"

**注意：**因网络问题，k8s组件的镜像都是无法直接从网络下载的。解决方案有两种（解决了镜像问题后再执行初始化主节点命令）：

1、从阿里云镜像仓库下载对应镜像，然后重命名

#下载镜像
[root@localhost ~]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.19.3
[root@localhost ~]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.19.3
[root@localhost ~]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.19.3
[root@localhost ~]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.19.3
[root@localhost ~]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.2
[root@localhost ~]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.13-0
[root@localhost ~]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.7.0

#镜像重命名

[root@localhost ~]# docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.19.3 k8s.gcr.io/kube-apiserver:v1.19.3
[root@localhost ~]# docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.19.3 k8s.gcr.io/kube-controller-manager:v1.19.3
[root@localhost ~]# docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.19.3 k8s.gcr.io/kube-scheduler:v1.19.3
[root@localhost ~]# docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.19.3 k8s.gcr.io/kube-proxy:v1.19.3
[root@localhost ~]# docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.2 k8s.gcr.io/pause:3.2
[root@localhost ~]# docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.13-0 k8s.gcr.io/etcd:3.4.13-0
[root@localhost ~]# docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.7.0 k8s.gcr.io/coredns:1.7.0

#删除原镜像
[root@localhost ~]# docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.19.3
[root@localhost ~]# docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.19.3
[root@localhost ~]# docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.19.3
[root@localhost ~]# docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.19.3
[root@localhost ~]# docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.2
[root@localhost ~]# docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.13-0
[root@localhost ~]# docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.7.0

2、下载镜像打包文件，然后加载成本地镜像，下载地址：链接：https://pan.baidu.com/s/1Ixy5OMBaWLDqeuLyXvXBtA
提取码：05nm

#将下载的文件上传到k8s服务器，然后解压
[root@localhost ~]# tar -zxvf kube-images.tar.gz
#切换到解压后的目录
[root@localhost ~]# cd kube-images/
#依次加载成本地镜像
[root@localhost ~]# docker load -i 文件名

初始化主节点

#开始部署 
[root@localhost ~]# kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.log 
#注意：执行此命令，CPU核心数量必须大于1核，否则无法执行成功

执行成功截图

#4、初始化成功后执行如下命令
#创建目录，保存连接配置缓存，认证文件
[root@localhost ~]# mkdir -p $HOME/.kube
#拷贝集群管理配置文件
[root@localhost ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
#授权给配置文件
[root@localhost ~]# chown $(id -u):$(id -g) $HOME/.kube/config

安装网络插件calico和flannel二选一

calico插件安装

#下载calico的k8s编程yaml文件
[root@localhost ~]# wget https://kuboard.cn/install-script/calico/calico-3.13.1.yaml
#使用文件安装calico
[root@localhost ~]# kubectl apply -f calico-3.13.1.yaml
#查询一个pod的详细信息
[root@localhost ~]# kubectl describe pod podid

flannel插件安装

因为网络限制原因，提前下载好需要的文件：本地镜像文件flannel.tar。安装文件kube-flannel.yml

链接：https://pan.baidu.com/s/1bXi0KF7Vc3_oqEp8LhUuWw
提取码：twnf

#1、将下载好的文件上传到主节点
#2、将文件flannel.tar加载到本地镜像
[root@localhost ~]# docker load -i flannel.tar
#2、部署flannel
[root@localhost ~]# kubectl create -f kube-flannel.yml

节点Join

# 加入主节点以及其余工作节点，执行安装日志中的命令即可
#如果主节点安装完成后没有记录加入命令，可以查看日志文件获得
[root@localhost ~]# cat kubeadm-init.log
# 复制该命令到其他几个node节点进行执行即可
[root@localhost ~]# kubeadm join 192.168.71.20:6443 --token 05rnzs.00igm20vowkks9t3 \
    --discovery-token-ca-cert-hash sha256:3a6559bf79365ae1660325fedb48e6f9f440d7ab9e5d820818cc059f5b5a0dac
# 查询工作空间中pod容器的详细信息
[root@localhost ~]# kubectl get pod -n kube-system -o wide

欢迎关注微信公众号：菜鸟工厂