k8s-service底层之 Iptables与 IPVS
service底层之 Iptables与 IPVSservice底层实现主要由两个网络模式组成：iptables与IPVS。他们都是有kube-proxy维护service工作流程图Iptables以k8s中的nginx这个service举例，这是一个nodePort类型的service用命令iptables-save |grep nginx可以看到这个service中的iptables规则找到他
·
目录
service底层之 Iptables与 IPVS
service底层实现主要由两个网络模式组成：iptables与IPVS。他们都是有kube-proxy维护
service工作流程图
Iptables
以k8s中的nginx这个service举例，这是一个nodePort类型的service
用命令
iptables-save |grep nginx
可以看到这个service中的iptables规则
找到他对外暴露的端口30601
-A KUBE-NODEPORTS -p tcp -m comment --comment "default/nginx" -m tcp --dport 30601 -j KUBE-SVC-2CMXP7HKUVJN7L6M
找到他CLUSTER-IP的这一条规则，即139的规则
-A KUBE-SERVICES -d 10.102.19.139/32 -p tcp -m comment --comment "default/nginx cluster IP" -m tcp --dport 80 -j KUBE-SVC-2CMXP7HKUVJN7L6M
由这条规则看出，如果访问的是10.102.19,139的80端口。则会将访问转发到
KUBE-SVC-2CMXP7HKUVJN7L6M
在搜索
KUBE-SVC-2CMXP7HKUVJN7L6M的规则
iptables-save |grep KUBE-SVC-2CMXP7HKUVJN7L6M
主要是最后三条规则
-A KUBE-SVC-2CMXP7HKUVJN7L6M -m comment --comment "default/nginx" -m statistic --mode random --probability 0.33333333349 -j KUBE-SEP-LNPQQIWGFNOA5PA2-A KUBE-SVC-2CMXP7HKUVJN7L6M -m comment --comment "default/nginx" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-5YYPNSSTAPIDIORU-A KUBE-SVC-2CMXP7HKUVJN7L6M -m comment --comment "default/nginx" -j KUBE-SEP-245ABZALMPSVYEFI
继续查找第一条规则所转发的路径
iptables-save |grep KUBE-SEP-LNPQQIWGFNOA5PA2
主要是这条规则
-A KUBE-SEP-LNPQQIWGFNOA5PA2 -p tcp -m comment --comment "default/nginx" -m tcp -j DNAT --to-destination 10.244.169.147:80
查找第二条转发的路径
iptables-save |grep KUBE-SEP-5YYPNSSTAPIDIORU
主要为这条规则
-A KUBE-SEP-5YYPNSSTAPIDIORU -p tcp -m comment --comment "default/nginx" -m tcp -j DNAT --to-destination 10.244.36.124:80
查看第三条转发的规则
iptables-save |grep KUBE-SEP-245ABZALMPSVYEFI
主要是这条规则
-A KUBE-SEP-245ABZALMPSVYEFI -p tcp -m comment --comment "default/nginx" -m tcp -j DNAT --to-destination 10.244.36.125:80
所以，现在理清整个iptables的规则
第一步，流量的入口.请求进入他nodePort的30601端口或者service的ip加80端口
-A KUBE-NODEPORTS -p tcp -m comment --comment "default/nginx" -m tcp --dport 30601 -j KUBE-SVC-2CMXP7HKUVJN7L6M-A KUBE-SERVICES -d 10.102.19.139/32 -p tcp -m comment --comment "default/nginx cluster IP" -m tcp --dport 80 -j KUBE-SVC-2CMXP7HKUVJN7L6M
第二步:负载均衡，他是采用random和权重值的方式进行负载均衡，因为iptables是从上到下匹配的，但因为权重值的原因，例如此service有三个pod访问路径。他在访问第一条的时候概率为0.3333，访问第二条概率为0.5，第三条为1，而他又是由上向下按顺序匹配，使得访问三条规则的概率一样，这样实现负载均衡
-A KUBE-SVC-2CMXP7HKUVJN7L6M -m comment --comment "default/nginx" -m statistic --mode random --probability 0.33333333349 -j KUBE-SEP-LNPQQIWGFNOA5PA2-A KUBE-SVC-2CMXP7HKUVJN7L6M -m comment --comment "default/nginx" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-5YYPNSSTAPIDIORU-A KUBE-SVC-2CMXP7HKUVJN7L6M -m comment --comment "default/nginx" -j KUBE-SEP-245ABZALMPSVYEFI
第三步：将访问转发到实际的容器中
-A KUBE-SEP-LNPQQIWGFNOA5PA2 -p tcp -m comment --comment "default/nginx" -m tcp -j DNAT --to-destination 10.244.169.147:80-A KUBE-SEP-5YYPNSSTAPIDIORU -p tcp -m comment --comment "default/nginx" -m tcp -j DNAT --to-destination 10.244.36.124:80-A KUBE-SEP-245ABZALMPSVYEFI -p tcp -m comment --comment "default/nginx" -m tcp -j DNAT --to-destination 10.244.36.125:80
IPVS
我们查看kube-proxy的日志，能发现service默认是采用iptables为网络模式
所以，如果要使用IPVS，我们首先需要将默认的iptables切换为IPVS
service切换IPVS
使用那种网络模式是有kube-proxy决定的，所以修改网络模式就是修改kube-proxy容器内容
kubeadm方式修改ipvs模式
第一步：
kubectl edit configmap kube-proxy -n kube-system
第二步：找到mode字段，可以看到mode是空的，因为iptables是默认的网络模式，所以当mode为空时kube-proxy会选用iptables模式
第三步：给mode赋值ipvs并保存退出
最后一步，删除节点原kube-proxy的pod，让k8s自己重建，则网络模式会被修改为ipvs
可以看到网络模式已经被修改为ipvs
二进制方式修改ipvs模式
配置文件路径根据实际安装目录为准
# vi kube-proxy-config.ymlmode: ipvsipvs:scheduler: "rr“# systemctl restart kube-proxy
ipvs规则
查看ipvs的规则
先安装ipvsadm
yum install ipvsadm -y
查看ipvs规则
ipvsadm -L -n
Iptables VS IPVS
Iptables：
• 灵活，功能强大
• 规则遍历匹配和更新，呈线性时延
IPVS：
• 工作在内核态，有更好的性能
• 调度算法丰富：rr，wrr，lc，wlc，ip hash...
Service DNS名称
CoreDNS：是一个DNS服务器，Kubernetes默认采用，以Pod部署在集群中， CoreDNS服务监视Kubernetes API，为每一个Service创建DNS记录用于域名解析。
ClusterIP A记录格式：
示例：my-svc.my-namespace.svc.cluster.local
为开发者提供学习成长、分享交流、生态实践、资源工具等服务，帮助开发者快速成长。
更多推荐
10
0- 0
已为社区贡献13条内容
所有评论(0)