kubernets kube-proxy的代理 iptables和ipvs - 30岁再次出发 - 博客园

service 的代理是 kube-proxy

kube-proxy 运行在所有节点上，它监听 apiserver 中 service 和 endpoint 的变化情况，创建路由规则以提供服务 IP 和负载均衡功能。简单理解此进程是Service的透明代理兼负载均衡器，其核心功能是将到某个Service的访问请求转发到后端的多个Pod实例上，而kube-proxy底层又是通过iptables和ipvs实现的。

### iptables原理

Kubernetes从1.2版本开始，将iptables作为kube-proxy的默认模式。iptables模式下的kube-proxy不再起到Proxy的作用，其核心功能：通过API Server的Watch接口实时跟踪Service与Endpoint的变更信息，并更新对应的iptables规则，Client的请求流量则通过iptables的NAT机制“直接路由”到目标Pod。

### ipvs原理

IPVS在Kubernetes1.11中升级为GA稳定版。IPVS则专门用于高性能负载均衡，并使用更高效的数据结构（Hash表），允许几乎无限的规模扩张，因此被kube-proxy采纳为最新模式。

在IPVS模式下，使用iptables的扩展ipset，而不是直接调用iptables来生成规则链。iptables规则链是一个线性的数据结构，ipset则引入了带索引的数据结构，因此当规则很多时，也可以很高效地查找和匹配。

可以将ipset简单理解为一个IP（段）的集合，这个集合的内容可以是IP地址、IP网段、端口等，iptables可以直接添加规则对这个“可变的集合”进行操作，这样做的好处在于可以大大减少iptables规则的数量，从而减少性能损耗。

### kube-proxy ipvs和iptables的异同

iptables与IPVS都是基于Netfilter实现的，但因为定位不同，二者有着本质的差别：iptables是为防火墙而设计的；IPVS则专门用于高性能负载均衡，并使用更高效的数据结构（Hash表），允许几乎无限的规模扩张。

与iptables相比，IPVS拥有以下明显优势：

-   为大型集群提供了更好的可扩展性和性能；
    
-   支持比iptables更复杂的复制均衡算法（最小负载、最少连接、加权等）；
    
-   支持服务器健康检查和连接重试等功能；
    
-   可以动态修改ipset的集合，即使iptables的规则正在使用这个集合。

![](https://img2020.cnblogs.com/blog/1656853/202010/1656853-20201015222814643-847914229.png)

### 二、k8s集群中分析service和kube-proxy

![](/media/202303/2023-03-18_141732_6610350.3531620346734269.png)

**访问Service的请求，不论是Cluster IP+TargetPort的方式；还是用Node节点IP+NodePort的方式，都被Node节点的Iptables规则重定向到Kube-proxy监听Service服务代理端口。kube-proxy接收到Service的访问请求后，根据负载策略，转发到后端的Pod。**

\# kubectl logs  kube-proxy-5clwf  -n kube-system  （查看某一个节点的kube-proxy日志）

<table><tbody><tr><td class="gutter">12345</td><td class="code"><div class="container"><code class="cpp plain">W1014 13:25:02.120810&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 server_others.go:559] Unknown proxy mode</code><code class="cpp string">""</code><code class="cpp plain">, assuming iptables proxy</code><code class="cpp plain">I1014 13:25:02.137813&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 node.go:136] Successfully retrieved node IP: 192.168.40.133</code><code class="cpp plain">I1014 13:25:02.137952&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 server_others.go:186] Using iptables Proxier.</code><code class="cpp plain">I1014 13:25:02.138750&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 server.go:583] Version: v1.18.0</code><code class="cpp plain">I1014 13:25:02.139344&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 conntrack.go:100] Set sysctl</code><code class="cpp string">'net/netfilter/nf_conntrack_max'</code> <code class="cpp plain">to 131072</code></div></td></tr></tbody></table>

\# iptables -vnL     查看所有的规则

<table><tbody><tr><td class="gutter">123456</td><td class="code"><div class="container"><code class="cpp plain">Chain INPUT (policy ACCEPT 19577 packets, 3755K bytes)</code><code class="cpp spaces">&nbsp;</code><code class="cpp plain">pkts bytes target&nbsp;&nbsp;&nbsp;&nbsp; prot opt in&nbsp;&nbsp;&nbsp;&nbsp; out&nbsp;&nbsp;&nbsp;&nbsp; source&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; destination&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code class="cpp spaces">&nbsp;</code><code class="cpp plain">622K&nbsp; 121M cali-INPUT&nbsp; all&nbsp; --&nbsp; *&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; *&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.0.0.0/0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.0.0.0/0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code class="cpp spaces">&nbsp;</code><code class="cpp plain">3017&nbsp; 162K KUBE-SERVICES&nbsp; all&nbsp; --&nbsp; *&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; *&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.0.0.0/0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.0.0.0/0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ctstate NEW</code><code class="cpp spaces">&nbsp;</code><code class="cpp plain">3017&nbsp; 162K KUBE-EXTERNAL-SERVICES&nbsp; all&nbsp; --&nbsp; *&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; *&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.0.0.0/0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.0.0.0/0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ctstate NEW</code><code class="cpp spaces">&nbsp;</code><code class="cpp plain">652K&nbsp; 140M KUBE-FIREWALL&nbsp; all&nbsp; --&nbsp; *&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; *&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.0.0.0/0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.0.0.0/0&nbsp;&nbsp;</code></div></td></tr></tbody></table>

\# iptables-save  > iptables 保存规则，并输出到屏幕

<table><tbody><tr><td class="gutter">123456</td><td class="code"><div class="container"><code class="cpp plain">:cali-OUTPUT - [0:0]</code><code class="cpp plain">:cali-PREROUTING - [0:0]</code><code class="cpp plain">:cali-from-host-endpoint - [0:0]</code><code class="cpp plain">:cali-to-host-endpoint - [0:0]</code><code class="cpp plain">-A PREROUTING -m comment --comment</code><code class="cpp string">"cali:6gwbT8clXdHdC1b1"</code> <code class="cpp plain">-j cali-PREROUTING</code><code class="cpp plain">-A OUTPUT -m comment --comment</code><code class="cpp string">"cali:tVnHkvAo15HuiPy0"</code> <code class="cpp plain">-j cali-OUTPUT</code></div></td></tr></tbody></table>

第一步：接收流量

NodePort访问入口规则：

<table><tbody><tr><td class="gutter">1234567891011</td><td class="code"><div class="container"><code class="cpp preprocessor"># kubectl get svc</code><code class="cpp plain">NAME&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; TYPE&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; CLUSTER-IP&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; EXTERNAL-IP&nbsp;&nbsp; PORT(S)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; AGE</code><code class="cpp plain">kubernetes&nbsp;&nbsp;&nbsp; ClusterIP&nbsp;&nbsp; 10.96.0.1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;none&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 443/TCP&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 78d</code><code class="cpp plain">mydb&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ClusterIP&nbsp;&nbsp; 10.108.118.149&nbsp;&nbsp; &lt;none&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 80/TCP&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 50d</code><code class="cpp plain">nginx-dns&nbsp;&nbsp;&nbsp;&nbsp; NodePort&nbsp;&nbsp;&nbsp; 10.103.206.148&nbsp;&nbsp; &lt;none&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 80:30296/TCP&nbsp;&nbsp; 49d</code><code class="cpp plain">web-service&nbsp;&nbsp; NodePort&nbsp;&nbsp;&nbsp; 10.111.113.171&nbsp;&nbsp; &lt;none&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 80:32681/TCP&nbsp;&nbsp; 49d</code><code class="cpp plain">web1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; NodePort&nbsp;&nbsp;&nbsp; 10.110.180.143&nbsp;&nbsp; &lt;none&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 80:30746/TCP&nbsp;&nbsp; 12h</code><code class="cpp preprocessor"># iptables -S -t nat&nbsp; | grep 30746</code><code class="cpp plain">-A KUBE-NODEPORTS -p tcp -m comment --comment</code><code class="cpp string">"default/web1:"</code> <code class="cpp plain">-m tcp --dport 30746 -j KUBE-MARK-MASQ</code><code class="cpp plain">-A KUBE-NODEPORTS -p tcp -m comment --comment</code><code class="cpp string">"default/web1:"</code> <code class="cpp plain">-m tcp --dport 30746 -j KUBE-SVC-7YBM6NGNJ6RVLVXL</code></div></td></tr></tbody></table>

CLUSTER-IP 访问入口规则：

<table><tbody><tr><td class="gutter">123</td><td class="code"><div class="container"><code class="cpp preprocessor"># iptables -S -t nat&nbsp; | grep 10.110.180.143 （cluster IP）</code><code class="cpp plain">-A KUBE-SERVICES ! -s 10.244.0.0/16 -d 10.110.180.143/32 -p tcp -m comment --comment</code><code class="cpp string">"default/web1: cluster IP"</code> <code class="cpp plain">-m tcp --dport 80 -j KUBE-MARK-MASQ</code><code class="cpp plain">-A KUBE-SERVICES -d 10.110.180.143/32 -p tcp -m comment --comment</code><code class="cpp string">"default/web1: cluster IP"</code> <code class="cpp plain">-m tcp --dport 80 -j KUBE-SVC-7YBM6NGNJ6RVLVXL</code></div></td></tr></tbody></table>

第二步：按概率（probability）分配

（web1有3个pod副本，负载规则如下）

<table><tbody><tr><td class="gutter">1234567</td><td class="code"><div class="container"><code class="cpp preprocessor"># iptables -S -t nat&nbsp; | grep KUBE-SVC-7YBM6NGNJ6RVLVXL</code><code class="cpp plain">-N KUBE-SVC-7YBM6NGNJ6RVLVXL</code><code class="cpp plain">-A KUBE-NODEPORTS -p tcp -m comment --comment</code><code class="cpp string">"default/web1:"</code> <code class="cpp plain">-m tcp --dport 30746 -j KUBE-SVC-7YBM6NGNJ6RVLVXL</code><code class="cpp plain">-A KUBE-SERVICES -d 10.110.180.143/32 -p tcp -m comment --comment</code><code class="cpp string">"default/web1: cluster IP"</code> <code class="cpp plain">-m tcp --dport 80 -j KUBE-SVC-7YBM6NGNJ6RVLVXL</code><code class="cpp plain">-A KUBE-SVC-7YBM6NGNJ6RVLVXL -m comment --comment</code><code class="cpp string">"default/web1:"</code> <code class="cpp plain">-m statistic --mode random --probability 0.33333333349 -j KUBE-SEP-IXSCGLPBJ6ROUJNA</code><code class="cpp plain">-A KUBE-SVC-7YBM6NGNJ6RVLVXL -m comment --comment</code><code class="cpp string">"default/web1:"</code> <code class="cpp plain">-m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-5MMDFR2YQS26JCDP&nbsp; （概论大，因为有两个pod在同一节点）</code><code class="cpp plain">-A KUBE-SVC-7YBM6NGNJ6RVLVXL -m comment --comment</code><code class="cpp string">"default/web1:"</code> <code class="cpp plain">-j KUBE-SEP-DHYUVI6YLCFCEZBW</code></div></td></tr></tbody></table>

第三步：根据分配转发到实际pod中

<table><tbody><tr><td class="gutter">123456789101112</td><td class="code"><div class="container"><code class="cpp preprocessor"># kubectl get ep</code><code class="cpp plain">NAME&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ENDPOINTS&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; AGE</code><code class="cpp plain">kubernetes&nbsp;&nbsp;&nbsp; 192.168.40.132:6443&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 78d</code><code class="cpp plain">nginx-dns&nbsp;&nbsp;&nbsp;&nbsp; 10.244.166.145:80&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49d</code><code class="cpp plain">web-service&nbsp;&nbsp; 10.244.166.139:80&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49d</code><code class="cpp plain">web1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 10.244.104.9:80,10.244.166.140:80,10.244.166.146:80&nbsp;&nbsp; 12h</code><code class="cpp preprocessor"># iptables -S -t nat&nbsp; | grep KUBE-SEP-5MMDFR2YQS26JCDP</code><code class="cpp plain">-N KUBE-SEP-5MMDFR2YQS26JCDP</code><code class="cpp plain">-A KUBE-SEP-5MMDFR2YQS26JCDP -s 10.244.166.140/32 -m comment --comment</code><code class="cpp string">"default/web1:"</code> <code class="cpp plain">-j KUBE-MARK-MASQ</code><code class="cpp plain">-A KUBE-SEP-5MMDFR2YQS26JCDP -p tcp -m comment --comment</code><code class="cpp string">"default/web1:"</code> <code class="cpp plain">-m tcp -j DNAT --to-destination 10.244.166.140:80（ep，到达某一节点的具体pod中）</code><code class="cpp plain">-A KUBE-SVC-7YBM6NGNJ6RVLVXL -m comment --comment</code><code class="cpp string">"default/web1:"</code> <code class="cpp plain">-m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-5MMDFR2YQS26JCDP</code></div></td></tr></tbody></table>

### 三、kube-proxy 工作原理

kube-proxy当前实现了三种代理模式：userspace, iptables, ipvs

（1）userspace mode:  userspace是在用户空间，通过kube-proxy来实现service的代理服务

（2）iptables mode, 该模式完全利用内核iptables来实现service的代理和LB, 这是K8s在v1.2及之后版本默认模式

![](/media/202303/2023-03-18_141732_3299020.6262727946534927.png)

API Server 对内（集群中的其他组件）和对外（用户）提供统一的 REST API，其他组件均通过 API Server 进行通信

Controller Manager、Scheduler、Kube-proxy 和 Kubelet 等均通过 API Server watch API 监测资源变化情况，并对资源作相应的操作

（3）ipvs mode.  在kubernetes 1.8以上的版本中，对于kube-proxy组件增加了除iptables模式和用户模式之外还支持ipvs模式。

kube-proxy ipvs 是基于 NAT 实现的，通过ipvs的NAT模式，对访问k8s service的请求进行虚IP到POD IP的转发。当创建一个 service 后，kubernetes 会在每个节点上创建一个网卡，同时帮你将 Service IP(VIP) 绑定上，此时相当于每个 Node 都是一个 ds，而其他任何 Node 上的 Pod，甚至是宿主机服务(比如 kube-apiserver 的 6443)都可能成为 rs；

与iptables、userspace 模式一样，kube-proxy 依然监听Service以及Endpoints对象的变化, 不过它并不创建反向代理, 也不创建大量的 iptables 规则, 而是通过netlink 创建ipvs规则，并使用k8s Service与Endpoints信息，对所在节点的ipvs规则进行定期同步; netlink 与 iptables 底层都是基于 netfilter 钩子，但是 netlink 由于采用了 hash table 而且直接工作在内核态，在性能上比 iptables 更优。其工作流程大体如下:

![](https://img2020.cnblogs.com/blog/1656853/202010/1656853-20201015110534838-1522952580.png)

**k8s的service和endpoine是如何关联和相互影响的？**1、 api-server创建service对象，与service绑定的pod地址：称之为endpoints（kubectl get ep可以查看）

2、服务发现方面：kube-proxy监控service后端endpoint的动态变化，并且维护service和endpoint的映射关系

#### kubernetes服务注册（dns），服务发现是service

http://www.dockone.io/article/9936   有详细讲解

Kubernetes提供了两种方式进行服务发现, 即环境变量和DNS

（1）**环境变量**： 当你创建一个Pod的时候，kubelet会在该Pod中注入集群内所有Service的相关环境变量。**需要注意:** 要想一个Pod中注入某个Service的环境变量，则必须Service要先比该Pod创建。这一点，几乎使得这种方式进行服务发现不可用。比如，一个ServiceName为redis-master的Service，对应的ClusterIP:Port为172.16.50.11:6379，则其对应的环境变量为:

<table><tbody><tr><td class="gutter">1234567</td><td class="code"><div class="container"><code class="cpp plain">REDIS_MASTER_SERVICE_HOST=172.16.50.11</code><code class="cpp plain">REDIS_MASTER_SERVICE_PORT=6379</code><code class="cpp plain">REDIS_MASTER_PORT=tcp:</code><code class="cpp plain">REDIS_MASTER_PORT_6379_TCP=tcp:</code><code class="cpp plain">REDIS_MASTER_PORT_6379_TCP_PROTO=tcp</code><code class="cpp plain">REDIS_MASTER_PORT_6379_TCP_PORT=6379</code><code class="cpp plain">REDIS_MASTER_PORT_6379_TCP_ADDR=172.16.50.11</code></div></td></tr></tbody></table>

（2）**DNS**：这是k8s官方强烈推荐的方式!!!  可以通过cluster add-on方式轻松的创建KubeDNS来对集群内的Service进行服务发现。

### 四、修改kube-proxy模式为ipvs（默认为iptables）

1、加载内核模块

\# lsmod | grep  ip\_vs

<table><tbody><tr><td class="gutter">123456</td><td class="code"><div class="container"><code class="cpp plain">ip_vs_sh&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 12688&nbsp; 0</code><code class="cpp plain">ip_vs_wrr&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 12697&nbsp; 0</code><code class="cpp plain">ip_vs_rr&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 12600&nbsp; 0</code><code class="cpp plain">ip_vs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 145497&nbsp; 6 ip_vs_rr,ip_vs_sh,ip_vs_wrr</code><code class="cpp plain">nf_conntrack&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 139264&nbsp; 7 ip_vs,nf_nat,nf_nat_ipv4,xt_conntrack,nf_nat_masquerade_ipv4,nf_conntrack_netlink,nf_conntrack_ipv4</code><code class="cpp plain">libcrc32c&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 12644&nbsp; 4 xfs,ip_vs,nf_nat,nf_conntrack</code></div></td></tr></tbody></table>

2、升级内核模块，ipvs对内核版本有要求

3、查看kube-proxy组件

<table><tbody><tr><td class="gutter">1234567</td><td class="code"><div class="container"><code class="cpp preprocessor"># kubectl get pod -n kube-system&nbsp;</code><code class="cpp plain">NAME&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; READY&nbsp;&nbsp; STATUS&nbsp;&nbsp;&nbsp; RESTARTS&nbsp;&nbsp; AGE</code><code class="cpp plain">kube-proxy-5clwf&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1/1&nbsp;&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp; 29&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 78d</code><code class="cpp plain">kube-proxy-ht25x&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1/1&nbsp;&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp; 30&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 78d</code><code class="cpp plain">kube-proxy-x9ml8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1/1&nbsp;&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp; 30&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 78d</code><code class="cpp plain">kube-scheduler-master&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1/1&nbsp;&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp; 49&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 78d</code><code class="cpp plain">metrics-server-584b5f4754-7vlhm&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1/1&nbsp;&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp; 56&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 78d</code></div></td></tr></tbody></table>

4、产看kube-proxy的配置文件configmaps

<table><tbody><tr><td class="gutter">12345678</td><td class="code"><div class="container"><code class="cpp preprocessor"># kubectl get configmaps&nbsp; -n kube-system&nbsp;</code><code class="cpp plain">NAME&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; DATA&nbsp;&nbsp; AGE</code><code class="cpp plain">calico-config&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 78d</code><code class="cpp plain">coredns&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 78d</code><code class="cpp plain">extension-apiserver-authentication&nbsp;&nbsp; 6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 78d</code><code class="cpp plain">kube-proxy&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 78d</code><code class="cpp plain">kubeadm-config&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 78d</code><code class="cpp plain">kubelet-config-1.18&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 78d</code></div></td></tr></tbody></table>

5、编辑kube-proxy的configmaps

<table><tbody><tr><td class="gutter">12345678910111213</td><td class="code"><div class="container"><code class="cpp preprocessor"># kubectl edit&nbsp; configmaps&nbsp; kube-proxy -n kube-system</code><code class="cpp plain">mode</code><code class="cpp string">"ipvs"</code><code class="cpp plain">删除旧的kube-proxy,kubelet自动重新拉起，应用ipvs</code><code class="cpp preprocessor"># kubectl delete pod&nbsp;&nbsp; kube-proxy-x9ml8&nbsp;&nbsp; -n kube-system&nbsp;</code><code class="cpp plain">pod</code><code class="cpp string">"kube-proxy-x9ml8"</code> <code class="cpp plain">deleted</code><code class="cpp plain">[root@master ~]# kubectl</code><code class="cpp keyword bold">delete</code> <code class="cpp plain">pod&nbsp;&nbsp; kube-proxy-ht25x&nbsp;&nbsp; -n kube-</code><code class="cpp functions bold">system</code>&nbsp;<code class="cpp plain">pod</code><code class="cpp string">"kube-proxy-ht25x"</code> <code class="cpp plain">deleted</code><code class="cpp preprocessor"># kubectl logs kube-proxy-4cnbn&nbsp; -n kube-system</code><code class="cpp plain">I1015 14:03:08.402147&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 node.go:136] Successfully retrieved node IP: 192.168.40.132</code><code class="cpp plain">I1015 14:03:08.402259&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 server_others.go:259] Using ipvs Proxier.</code><code class="cpp plain">W1015 14:03:08.402618&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 proxier.go:429] IPVS scheduler not specified, use rr by</code><code class="cpp keyword bold">default</code></div></td></tr></tbody></table>

6、安装ipvsadm

<table><tbody><tr><td class="gutter">12345678910111213</td><td class="code"><div class="container"><code class="cpp preprocessor"># yum install -y ipvsadm.x86_64</code><code class="cpp preprocessor"># ipvsadm -L -n</code><code class="cpp plain">IP Virtual Server version 1.2.1 (size=4096)</code><code class="cpp plain">Prot LocalAddress:Port Scheduler Flags</code><code class="cpp spaces">&nbsp;&nbsp;</code><code class="cpp plain">-&gt; RemoteAddress:Port&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Forward Weight ActiveConn InActConn</code><code class="cpp plain">TCP&nbsp; 127.0.0.1:30564 rr&nbsp; （轮询规则）</code><code class="cpp spaces">&nbsp;&nbsp;</code><code class="cpp plain">-&gt; 10.244.104.36:8080&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Masq&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code class="cpp spaces">&nbsp;&nbsp;</code><code class="cpp plain">-&gt; 10.244.166.147:8080&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Masq&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code class="cpp plain">TCP&nbsp; 127.0.0.1:32618 rr</code><code class="cpp spaces">&nbsp;&nbsp;</code><code class="cpp plain">-&gt; 10.244.104.20:80&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Masq&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code class="cpp plain">TCP&nbsp; 172.17.0.1:30564 rr</code><code class="cpp spaces">&nbsp;&nbsp;</code><code class="cpp plain">-&gt; 10.244.104.36:8080&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Masq&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;</code></div></td></tr></tbody></table>

7、系统生成虚拟网卡kube-ipvs0

<table><tbody><tr><td class="gutter">123456</td><td class="code"><div class="container"><code class="cpp preprocessor">#&nbsp; ip a</code><code class="cpp plain">6: kube-ipvs0: &lt;BROADCAST,NOARP&gt; mtu 1500 qdisc noop state DOWN group</code><code class="cpp keyword bold">default</code><code class="cpp spaces">&nbsp;&nbsp;&nbsp;&nbsp;</code><code class="cpp plain">link/ether a2:09:a4:9d:fb:f8 brd ff:ff:ff:ff:ff:ff</code><code class="cpp spaces">&nbsp;&nbsp;&nbsp;&nbsp;</code><code class="cpp plain">inet 10.110.180.143/32 brd 10.110.180.143 scope global kube-ipvs0</code><code class="cpp spaces">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code class="cpp plain">valid_lft forever preferred_lft forever</code><code class="cpp plain">inet 10.110.180.143/32专门用于接收svc web1的请求</code></div></td></tr></tbody></table>

8、svc的流量被ipvs分发

<table><tbody><tr><td class="gutter">1234567891011121314151617181920</td><td class="code"><div class="container"><code class="cpp preprocessor"># kubectl get svc</code><code class="cpp plain">NAME&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; TYPE&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; CLUSTER-IP&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; EXTERNAL-IP&nbsp;&nbsp; PORT(S)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; AGE</code><code class="cpp plain">web1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; NodePort&nbsp;&nbsp;&nbsp; 10.110.180.143&nbsp;&nbsp; &lt;none&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 80:30746/TCP&nbsp;&nbsp; 23h</code><code class="cpp preprocessor"># curl&nbsp; 10.110.180.143</code><code class="cpp plain">...</code><code class="cpp plain">&lt;title&gt;Welcome to nginx!&lt;/title&gt;</code><code class="cpp plain">...</code><code class="cpp preprocessor"># kubectl get ep</code><code class="cpp plain">NAME&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ENDPOINTS&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; AGE</code><code class="cpp plain">kubernetes&nbsp;&nbsp;&nbsp; 192.168.40.132:6443&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 78d</code><code class="cpp plain">web1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 10.244.104.15:80,10.244.166.143:80,10.244.166.148:80&nbsp;&nbsp; 23h</code><code class="cpp plain">ipvs捕捉到svc的流量</code><code class="cpp preprocessor"># ipvsadm -L -n</code><code class="cpp plain">TCP&nbsp; 10.110.180.143:80 rr</code><code class="cpp spaces">&nbsp;&nbsp;</code><code class="cpp plain">-&gt; 10.244.104.15:80&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Masq&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code class="cpp spaces">&nbsp;&nbsp;</code><code class="cpp plain">-&gt; 10.244.166.143:80&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Masq&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code class="cpp spaces">&nbsp;&nbsp;</code><code class="cpp plain">-&gt; 10.244.166.148:80&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Masq&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;</code></div></td></tr></tbody></table>