qidao123.com ToB IT社区-企服评测·应用市场»论坛 › 安全 › 网络安全 › Kubernetes精讲之网络通讯与调理

Kubernetes精讲之网络通讯与调理

[复制链接]
发表于 2026-1-24 11:18:29 | 显示全部楼层 |阅读模式
目次
一 k8s网络通讯
1.1 k8s通讯团体架构
1.2 flannel网络插件
1.2.1 flannel跨主机通讯原理
1.2.2 flannel支持的后端模式
1.3 calico网络插件
1.3.1 calico简介：
1.3.2 calico网络架构
1.3.3 摆设calico
二 k8s调理（Scheduling）
2.1 调理在Kubernetes中的作用
2.2 调理原理：
2.3 调理器种类
2.4 常用调理方法
2.4.1 nodename
2.4.2 Nodeselector(通过标签控制节点)
2.5 affinity（亲和性）
2.5.1 亲和与反亲和
2.5.2 nodeAffinity节点亲和
2.5.3 Podaffinity（pod的亲和）
2.5.4 Podantiaffinity（pod反亲和）
2.6 Taints（污点模式，克制调理）
Taints示例
tolerations（污点容忍）
污点容忍示例：

一 k8s网络通讯

1.1 k8s通讯团体架构


      
  • k8s通过CNI接口接入其他插件来实现网络通讯。现在比力盛行的插件有flannel，calico等  
  • CNI插件存放位置：# cat /etc/cni/net.d/10-flannel.conflist  
  • 插件利用的办理方案如下

      

    •    
    • 假造网桥，假造网卡，多个容器共用一个假造网卡举行通讯。   
    • 多路复用：MacVLAN，多个容器共用一个物理网卡举行通讯。   
    • 硬件交换：SR-LOV，一个物理网卡可以假造出多个接口，这个性能最好。   



      

    •    
    • 同一个pod内的多个容器间的通讯，通过lo即可实现pod之间的通讯   
    • 同一节点的pod之间通过cni网桥转发数据包。   
    • 差别节点的pod之间的通讯须要网络插件支持   


      
  • pod和service通讯: 通过iptables或ipvs实现通讯，ipvs代替不了iptables，由于ipvs只能做负载平衡，而做不了nat转换  
  • pod和外网通讯：iptables的MASQUERADE  
  • Service与集群外部客户端的通讯；（ingress、nodeport、loadbalancer）
1.2 flannel网络插件

插件构成：
插件
 功能
VXLAN
 即Virtual Extensible LAN（假造可扩展局域网），是Linux本身支持的一网种网络假造化技能。VXLAN可以完全在内核态实现封装息争封装工作，从而通过“隧道”机制，构建出覆盖网络（Overlay Network）
VTEP
 VXLAN Tunnel End Point（假造隧道端点），在Flannel中 VNI的默认值是1，这也是为什么宿主机的VTEP装备都叫flannel.1的缘故因由
Cni0
 网桥装备，每创建一个pod都会创建一对 veth pair。此中一端是pod中的eth0，另一端是Cni0网桥中的端口（网卡）
Flannel.1
 TUN装备(假造网卡)，用来举行 vxlan 报文的处理处罚（封包息争包）。差别node之间的pod数据流量都从overlay装备以隧道的情势发送到对端
Flanneld
 flannel在每个主机中运行flanneld作为agent，它会为地点主机从集群的网络地点空间中，获取一个小的网段subnet，本主机内全部容器的IP地点都将从中分配。同时Flanneld监听K8s集群数据库，为flannel.1装备提供封装数据时须要的mac、ip等网络数据信息
1.2.1 flannel跨主机通讯原理




      
  • 当容器发送IP包，通过veth pair 发往cni网桥，再路由到本机的flannel.1装备举行处理处罚。  
  • VTEP装备之间通过二层数据帧举行通讯，源VTEP装备收到原始IP包后，在上面加上一个目标MAC地点，封装成一个内部数据帧，发送给目标VTEP装备。  
  • 内部数据桢，并不能在宿主机的二层网络传输，Linux内核还须要把它进一步封装成为宿主机的一个平常的数据帧，承载着内部数据帧通过宿主机的eth0举行传输。  
  • Linux会在内部数据帧前面，加上一个VXLAN头，VXLAN头里有一个告急的标记叫VNI，它是VTEP辨认某个数据桢是不是应该归本身处理处罚的告急标识。  
  • flannel.1装备只知道另一端flannel.1装备的MAC地点，却不知道对应的宿主机地点是什么。在linux内核内里，网络装备举行转发的依据，来自FDB的转发数据库，这个flannel.1网桥对应的FDB信息，是由flanneld进程维护的。  
  • linux内核在IP包前面再加上二层数据帧头，把目标节点的MAC地点填进去，MAC地点从宿主机的ARP表获取。  
  • 此时flannel.1装备就可以把这个数据帧从eth0发出去，再颠末宿主机网络来到目标节点的eth0装备。目标主机内核网络栈会发现这个数据帧有VXLAN Header，而且VNI为1，Linux内核会对它举行拆包，拿到内部数据帧，根据VNI的值，交给本机flannel.1装备处理处罚,flannel.1拆包，根据路由表发往cni网桥，末了到达目标容器。
  1. #默认网络通信路由
  2. [root@k8s-master ~]# ip r
  3. default via 172.25.254.2 dev eth0 proto static metric 100
  4. 10.244.0.0/24 dev cni0 proto kernel scope link src 10.244.0.1
  5. 10.244.1.0/24 via 10.244.1.0 dev flannel.1 onlink
  6. 10.244.2.0/24 via 10.244.2.0 dev flannel.1 onlink
  7. 172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 linkdown
  8. 172.25.254.0/24 dev eth0 proto kernel scope link src 172.25.254.100 metric 100
  10. #桥接转发数据库
  11. [root@k8s-master ~]# bridge  fdb
  12. 01:00:5e:00:00:01 dev eth0 self permanent
  13. 33:33:00:00:00:01 dev eth0 self permanent
  14. 01:00:5e:00:00:fb dev eth0 self permanent
  15. 33:33:ff:65:cb:fa dev eth0 self permanent
  16. 33:33:00:00:00:fb dev eth0 self permanent
  17. 33:33:00:00:00:01 dev docker0 self permanent
  18. 01:00:5e:00:00:6a dev docker0 self permanent
  19. 33:33:00:00:00:6a dev docker0 self permanent
  20. 01:00:5e:00:00:01 dev docker0 self permanent
  21. 01:00:5e:00:00:fb dev docker0 self permanent
  22. 02:42:76:94:aa:bc dev docker0 vlan 1 master docker0 permanent
  23. 02:42:76:94:aa:bc dev docker0 master docker0 permanent
  24. 33:33:00:00:00:01 dev kube-ipvs0 self permanent
  25. 82:14:17:b1:1d:d0 dev flannel.1 dst 172.25.254.20 self permanent
  26. 22:7f:e7:fd:33:77 dev flannel.1 dst 172.25.254.10 self permanent
  27. 33:33:00:00:00:01 dev cni0 self permanent
  28. 01:00:5e:00:00:6a dev cni0 self permanent
  29. 33:33:00:00:00:6a dev cni0 self permanent
  30. 01:00:5e:00:00:01 dev cni0 self permanent
  31. 33:33:ff:aa:13:2f dev cni0 self permanent
  32. 01:00:5e:00:00:fb dev cni0 self permanent
  33. 33:33:00:00:00:fb dev cni0 self permanent
  34. 0e:49:e3:aa:13:2f dev cni0 vlan 1 master cni0 permanent
  35. 0e:49:e3:aa:13:2f dev cni0 master cni0 permanent
  36. 7a:1c:2d:5d:0e:9e dev vethf29f1523 master cni0
  37. 5e:4e:96:a0:eb:db dev vethf29f1523 vlan 1 master cni0 permanent
  38. 5e:4e:96:a0:eb:db dev vethf29f1523 master cni0 permanent
  39. 33:33:00:00:00:01 dev vethf29f1523 self permanent
  40. 01:00:5e:00:00:01 dev vethf29f1523 self permanent
  41. 33:33:ff:a0:eb:db dev vethf29f1523 self permanent
  42. 33:33:00:00:00:fb dev vethf29f1523 self permanent
  43. b2:f9:14:9f:71:29 dev veth18ece01e master cni0
  44. 3a:05:06:21:bf:7f dev veth18ece01e vlan 1 master cni0 permanent
  45. 3a:05:06:21:bf:7f dev veth18ece01e master cni0 permanent
  46. 33:33:00:00:00:01 dev veth18ece01e self permanent
  47. 01:00:5e:00:00:01 dev veth18ece01e self permanent
  48. 33:33:ff:21:bf:7f dev veth18ece01e self permanent
  49. 33:33:00:00:00:fb dev veth18ece01e self permanent
  51. #arp列表
  52. [root@k8s-master ~]# arp -n
  53. Address                  HWtype  HWaddress           Flags Mask            Iface
  54. 10.244.0.2               ether   7a:1c:2d:5d:0e:9e   C                     cni0
  55. 172.25.254.1             ether   00:50:56:c0:00:08   C                     eth0
  56. 10.244.2.0               ether   82:14:17:b1:1d:d0   CM                    flannel.1
  57. 10.244.1.0               ether   22:7f:e7:fd:33:77   CM                    flannel.1
  58. 172.25.254.20            ether   00:0c:29:6a:a8:61   C                     eth0
  59. 172.25.254.10            ether   00:0c:29:ea:52:cb   C                     eth0
  60. 10.244.0.3               ether   b2:f9:14:9f:71:29   C                     cni0
  61. 172.25.254.2             ether   00:50:56:fc:e0:b9   C                     eth0
复制代码
1.2.2 flannel支持的后端模式

网络模式
 功能
vxlan
 报文封装，默认模式
Directrouting
 直接路由，跨网段利用vxlan，同网段利用host-gw模式
host-gw
 主机网关，性能好，但只能在二层网络中，不支持跨网络 如果有成千上万的Pod，轻易产生广播风暴，不保举
UDP
 性能差，不保举
更改flannel的默认模式
  1. [root@k8s-master ~]# kubectl -n kube-flannel edit cm kube-flannel-cfg
  2. apiVersion: v1
  3. data:
  4.   cni-conf.json: |
  5.     {
  6.       "name": "cbr0",
  7.       "cniVersion": "0.3.1",
  8.       "plugins": [
  9.         {
  10.           "type": "flannel",
  11.           "delegate": {
  12.             "hairpinMode": true,
  13.             "isDefaultGateway": true
  14.           }
  15.         },
  16.         {
  17.           "type": "portmap",
  18.           "capabilities": {
  19.             "portMappings": true
  20.           }
  21.         }
  22.       ]
  23.     }
  24.   net-conf.json: |
  25.     {
  26.       "Network": "10.244.0.0/16",
  27.       "EnableNFTables": false,
  28.       "Backend": {
  29.         "Type": "host-gw"           #更改内容
  30.       }
  31.     }
  32. #重启pod
  33. [root@k8s-master ~]# kubectl -n kube-flannel delete pod --all
  34. pod "kube-flannel-ds-bk8wp" deleted
  35. pod "kube-flannel-ds-mmftf" deleted
  36. pod "kube-flannel-ds-tmfdn" deleted
  38. [root@k8s-master ~]# ip r
  39. default via 172.25.254.2 dev eth0 proto static metric 100
  40. 10.244.0.0/24 dev cni0 proto kernel scope link src 10.244.0.1
  41. 10.244.1.0/24 via 172.25.254.10 dev eth0
  42. 10.244.2.0/24 via 172.25.254.20 dev eth0
  43. 172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 linkdown
  44. 172.25.254.0/24 dev eth0 proto kernel scope link src 172.25.254.100 metric 100
复制代码


1.3 calico网络插件

官网：
Install Calico networking and network policy for on-premises deployments | Calico Documentation
1.3.1 calico简介：


      
  • 纯三层的转发，中心没有任何的NAT和overlay，转发服从最好。  
  • Calico 仅依靠三层路由可达。Calico 较少的依靠性使它能适配

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

×
回复

使用道具 举报

返回列表

花瓣小跑
+ 我要发帖

登录后关闭弹窗

登录参与点评抽奖  加入IT实名职场社区
去登录
快速回复 返回顶部 返回列表