升级Linux内核

虚拟机克隆三台centOS7.9版本，分配静态IP后进行内核升级。此处用xshell连接操作，可同时操作三台。服务器过多时可以用ansible操作。

yum源配置

curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo

更新yum源仓库

yum -y update

导入公共秘钥

rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

安装yum源

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

查看可用版本

yum --disablerepo="*" --enablerepo="elrepo-kernel" list available

安装最新内核。
2022.07更新：可以安装5.10.8。最新的内核版本有部分配置不兼容

 yum --enablerepo=elrepo-kernel install kernel-ml

查看可用内核，设置新内核，重新生成grub配置文件并重启

awk -F\' '$1=="menuentry " {print i++ " : " $2}' /etc/grub2.cfg
grub2-set-default 0
grub2-mkconfig -o /boot/grub2/grub.cfg
reboot

验证结果

uname -r

安装K8s基础配置

重新连接三台服务器后，以下操作依旧是利用xshell操作三台服务器
安装基础工具及服务

yum install wget jq psmisc vim net-tools telnet yum-utils device-mapper-persistent-data lvm2  ntpdate ipvsadm ipset sysstat conntrack libseccomp -y

关闭防火墙、交换分区、selinux

systemctl stop firewalld && systemctl disable firewalld
swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

配置hosts映射文件，填入IP及映射关系

vim /etc/hosts

192.168.1.115 master
192.168.1.116 node1
192.168.1.117 node2
更新时区并同步时间

ntpdate ntp.aliyun.com
hwclock -w

配置内核参数

cat <<EOF > /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
fs.may_detach_mounts = 1
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
fs.file-max=52706963
fs.nr_open=52706963
net.netfilter.nf_conntrack_max=2310720

net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl =15
net.ipv4.tcp_max_tw_buckets = 36000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_orphans = 327680
net.ipv4.tcp_orphan_retries = 3
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.ip_conntrack_max = 65536
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_timestamps = 0
net.core.somaxconn = 16384
EOF
sysctl --system

加入ipvs参数

vim /etc/modules-load.d/ipvs.conf
#需要加入的参数
ip_vs
ip_vs_lc
ip_vs_wlc
ip_vs_rr
ip_vs_wrr
ip_vs_lblc
ip_vs_lblcr
ip_vs_dh
ip_vs_sh
ip_vs_fo
ip_vs_nq
ip_vs_sed
ip_vs_ftp
ip_vs_sh
nf_conntrack_ipv4
ip_tables
ip_set
xt_set
ipt_set
ipt_rpfilter
ipt_REJECT
ipip

加载内核配置

systemctl enable --now systemd-modules-load.service

安装docker

以下操作依旧是利用xshell操作三台服务器
配置docker阿里云源

yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装docker，默认安装最新版本

yum install docker-ce -y

配置docker启动

systemctl start docker && systemctl enable docker

设置阿里云镜像加速并重启docker生效

cat <<EOF > /etc/docker/daemon.json
{"registry-mirrors":["https://v2nmtsk1.mirror.aliyuncs.com"] }
EOF

systemctl restart docker

初始化K8s集群

以下操作依旧是利用xshell操作三台服务器
配置k8s参数。
2022.07更新： repo_gpgcheck=1若是不通过改为0

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装kubelet、kubeadm等

yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes

启动相关服务

systemctl enable kubelet && systemctl start kubelet

以下操作在master上。
拉取基本配置文件

kubeadm config print init-defaults > kubeadm.conf

需要修改三个地方 IP地址、镜像仓库选择阿里云
K8s版本号要与默认安装的kubectl版本一致

registry.cn-hangzhou.aliyuncs.com/google_containers

拉取相关镜像

kubeadm config images pull --config kubeadm.conf 

初始化

kubeadm init --kubernetes-version=v1.20.2 \
--pod-network-cidr=10.244.0.0/16 \
--service-cidr=10.96.0.0/12 \
--apiserver-advertise-address=192.168.1.115 \
--ignore-preflight-errors=Swap \
--ignore-preflight-errors=NumCPU \
--image-repository registry.aliyuncs.com/google_containers

初始化完成后拷贝最下面的一段，是你node加入master需要的

执行相关初始化操作

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

安装flannel网络，这里将flannel网站的外网地址加入hosts，因为我遇到了连接被拒绝的问题。提前配置可以规避问题

echo "199.232.28.133 raw.githubusercontent.com" >> /etc/hosts

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

安装完毕查看状态

kubectl get node

在其他两个node执行如下命令加入master，根据自己实际生成的执行

kubeadm join 192.168.1.115:6443 --token d80ewz.vu1r7nteuq4tkh4y \
    --discovery-token-ca-cert-hash sha256:997d93fcae6426d70613dfabfedb1f6158b68e12c849056ea4d4d76cf8a5a16a

弄个Nginx试一下

kubectl create deployment nginx-deploy --image=nginx
kubectl expose deployment nginx-deploy --port=80 --type=NodePort

查看状态

kubectl get pod,svc

访问试一下
http://192.168.1.115:32007/
访问正常