k8s 网络异常排错步骤

前言

首先要有信心解决 k8s 的网络问题，k8s 的网络是通过 iptables、ipvs、ipset 或者 ebpf 等 linux 技术实现的，k8s 借助这些工具创建各种数据包转发规则，通过这些规则控制数据流转逻辑从而实现 k8s 网络，在排查网络问题之前先梳理网络拓扑，再弄清楚数据的流转过程，最后追踪数据是在哪个环节丢失，遇到问题不要慌，按照流程逐步分析定位问题，可以避免少踩坑，我通常安装下面的步骤排查网络问题。

1、先确定物理网络是否OK

不要一上来就抓包、检查 ipvs、 iptabels 规则，首先要排除物理网络本身是否正常，要不然忙活半天，结果发现物理网络本身就不通那就尴尬了。

ping targetip
arp -n | grep targetip
telnet targetip port

2、分析数据流转路径

一般有以下几种
1、pod->pod
2、pod->service->pod
3、pod->node
4、pod->node(宿主机)->外部ip

3、快速进入 pod 网络空间

kubectl -n kubesphere-system get pod -o wide #快速确定pod宿主机
#在宿主机执行下面的命令可以进入pod的网络空间
sudo nsenter -t $(docker inspect -f '{{.State.Pid}}' $(kubectl -n kubesphete-system get pod ks-apiserver-xxxxxx -o jsonpath='{range .status.containerStatus[*]}{.conainerID}{end}' | sed 's#^docker://##g')) -n ip addr

4、在各个环节抓包，确定丢包环节

tcpdump -nnvvv *** ***

5、分析 ipvs、iptables 规则是否正确

ipvsadm -L -n -t clusterip:port
iptables -L -t nat
iptables -L -t filter