16 张图硬核讲解 Kubernetes 网络

作者：Cylon
出处：

https://www.cnblogs.com/Cylon/p/16595820.html

Overview

本文将探讨 Kubernetes 中的网络模型，以及对各种网络模型进行分析。

Underlay Network Model

什么是 Underlay Network

底层网络Underlay Network顾名思义是指网络设备基础设施，如交换机，路由器,DWDM使用网络介质将其链接成的物理网络拓扑，负责网络之间的数据包传输。

Underlay network topology

underlay network可以是二层，也可以是三层；二层的典型例子是以太网Ethernet，三层是的典型例子是互联网Internet。

而工作于二层的技术是vlan，工作在三层的技术是由OSPF,BGP等协议组成。

k8s 中的 underlay network

在 kubernetes 中，underlay network中比较典型的例子是通过将宿主机作为路由器设备，Pod 的网络则通过学习路由条目从而实现跨节点通讯。

underlay network topology in kubernetes

这种模型下典型的有flannel的host-gw模式与calicoBGP模式。

flannel host-gw

flannel host-gw模式中每个 Node 需要在同一个二层网络中，并将 Node 作为一个路由器，跨节点通讯将通过路由表方式进行，这样方式下将网络模拟成一个underlay network。

layer2 ethernet topology

Notes：因为是通过路由方式，集群的 cidr 至少要配置 16，因为这样可以保证，跨节点的 Node 作为一层网络，同节点的 Pod 作为一个网络。如果不是这种用情况，路由表处于相同的网络中，会存在网络不可达

Calico BGP

BGP（Border Gateway Protocol）是去中心化自治路由协议。它是通过维护 IP 路由表或前缀表来实现 AS （Autonomous System）之间的可访问性，属于向量路由协议。

BGP network topology

与flannel不同的是，Calico提供了的BGP网络解决方案，在网络模型上，Calico与Flannel host-gw是近似的，但在软件架构的实现上，flannel使用flanneld进程来维护路由信息；而Calico是包含多个守护进程的，其中Brid进程是一个BGP客户端与路由反射器(Router Reflector)，BGP客户端负责从Felix中获取路由并分发到其他BGP Peer，而反射器在 BGP 中起了优化的作用。在同一个 IBGP 中，BGP 客户端仅需要和一个RR相连，这样减少了AS内部维护的大量的 BGP 连接。通常情况下，RR是真实的路由设备，而Bird作为BGP客户端工作。

Calico Network Architecture

IPVLAN & MACVLAN

IPVLAN和MACVLAN是一种网卡虚拟化技术，两者之间的区别为，IPVLAN允许一个物理网卡拥有多个 IP 地址，并且所有的虚拟接口用同一个 MAC 地址；而MACVLAN则是相反的，其允许同一个网卡拥有多个 MAC 地址，而虚拟出的网卡可以没有 IP 地址。

因为是网卡虚拟化技术，而不是网络虚拟化技术，本质上来说属于Overlay network，这种方式在虚拟化环境中与Overlay network相比最大的特点就是可以将 Pod 的网络拉平到 Node 网络同级，从而提供更高的性能、低延迟的网络接口。本质上来说其网络模型属于下图中第二个。

Virtual networking modes: bridging, multiplexing and SR-IOV

• 虚拟网桥：创建一个虚拟网卡对(veth pair)，一头在容器内，一头在宿主机的 root namespaces 内。这样一来容器内发出的数据包可以通过网桥直接进入宿主机网络栈，而发往容器的数据包也可以经过网桥进入容器。
• 多路复用：使用一个中间网络设备，暴露多个虚拟网卡接口，容器网卡都可以介入这个中间设备，并通过 MAC/IP 地址来区分 packet 应该发往哪个容器设备。
• 硬件交换，为每个 Pod 分配一个虚拟网卡，这样一来，Pod 与 Pod 之间的连接关系就会变得非常清晰，因为近乎物理机之间的通信基础。如今大多数网卡都支持 SR-IOV 功能，该功能将单一的物理网卡虚拟成多个 VF 接口，每个 VF 接口都有单独的虚拟 PCIe 通道，这些虚拟的 PCIe 通道共用物理网卡的 PCIe 通道。

在 kubernetes 中IPVLAN这种网络模型下典型的 CNI 有，multus 与 danm。

multus

multus是 intel 开源的 CNI 方案，是由传统的cni与multus，并且提供了 SR-IOV CNI 插件使 K8s pod 能够连接到 SR-IOV VF 。这是使用了IPVLAN/MACVLAN的功能。

当创建新的 Pod 后，SR-IOV 插件开始工作。配置 VF 将被移动到新的 CNI 名称空间。该插件根据 CNI 配置文件中的 “name” 选项设置接口名称。最后将 VF 状态设置为 UP。

下图是一个 Multus 和 SR-IOV CNI 插件的网络环境，具有三个接口的 pod。

• eth0是flannel网络插件，也是作为 Pod 的默认网络
• VF 是主机的物理端口ens2f0的实例化。这是英特尔 X710-DA4 上的一个端口。在 Pod 端的 VF 接口名称为south0。
• 这个 VF 使用了 DPDK 驱动程序，此 VF 是从主机的物理端口ens2f1实例化出的。这个是英特尔 ® X710-DA4 上另外一个端口。Pod 内的 VF 接口名称为north0。该接口绑定到 DPDK 驱动程序vfio-pci。

Mutus networking Architecture overlay and SR-IOV

Notes：术语

• NIC：network interface card，网卡
• SR-IOV：single root I/O virtualization，硬件实现的功能，允许各虚拟机间共享 PCIe 设备。
• VF：Virtual Function，基于 PF，与 PF 或者其他 VF 共享一个物理资源。
• PF：PCIe Physical Function，拥有完全控制 PCIe 资源的能力
• DPDK：Data Plane Development Kit

于此同时，也可以将主机接口直接移动到 Pod 的网络名称空间，当然这个接口是必须存在，并且不能是与默认网络使用同一个接口。这种情况下，在普通网卡的环境中，就直接将 Pod 网络与 Node 网络处于同一个平面内了。

Mutus networking Architecture overlay and ipvlan

danm

DANM 是诺基亚开源的 CNI 项目，目的是将电信级网络引入 kubernetes 中，与 multus 相同的是，也提供了 SR-IOV/DPDK 的硬件技术，并且支持 IPVLAN.

Overlay Network Model

什么是 Overlay

叠加网络是使用网络虚拟化技术，在underlay网络上构建出的虚拟逻辑网络，而无需对物理网络架构进行更改。本质上来说，overlay network使用的是一种或多种隧道协议 (tunneling)，通过将数据包封装，实现一个网络到另一个网络中的传输，具体来说隧道协议关注的是数据包（帧）。

overlay network topology

常见的网络隧道技术

• 通用路由封装 (Generic Routing Encapsulation) 用于将来自 IPv4/IPv6 的数据包封装为另一个协议的数据包中，通常工作与 L3 网络层中。
• VxLAN (Virtual Extensible LAN)，是一个简单的隧道协议，本质上是将 L2 的以太网帧封装为 L4 中 UDP 数据包的方法，使用4789作为默认端口。VxLAN也是VLAN的扩展，对于 4096（位VLAN ID） 扩展为 1600 万（位VN·ID）个逻辑网络。

这种工作在overlay模型下典型的有flannel与calico中的的VxLAN,IPIP模式。

IPIP

IP in IP也是一种隧道协议，与VxLAN类似的是，IPIP的实现也是通过 Linux 内核功能进行的封装。IPIP需要内核模块ipip.ko使用命令查看内核是否加载 IPIP 模块lsmod | grep ipip；使用命令modprobe ipip加载。

A simple IPIP network workflow

Kubernetes 中IPIP与VxLAN类似，也是通过网络隧道技术实现的。与VxLAN差别就是，VxLAN本质上是一个 UDP 包，而IPIP则是将包封装在本身的报文包上。

IPIP in kubernetes

IPIP packet with wireshark unpack

Notes：公有云可能不允许 IPIP 流量，例如 Azure

VxLAN

kubernetes 中不管是flannel还是calicoVxLAN 的实现都是使用 Linux 内核功能进行的封装，Linux 对 vxlan 协议的支持时间并不久，2012 年 Stephen Hemminger 才把相关的工作合并到 kernel 中，并最终出现在 kernel 3.7.0 版本。为了稳定性和很多的功能，你可以会看到某些软件推荐在 3.9.0 或者 3.10.0 以后版本的 kernel 上使用VxLAN。

A simple VxLAN network topology

在 kubernetes 中 vxlan 网络，例如flannel，守护进程会根据 kubernetes 的 Node 而维护VxLAN，名称为flannel.1这是VNID，并维护这个网络的路由，当发生跨节点的流量时，本地会维护对端VxLAN设备的 MAC 地址，通过这个地址可以知道发送的目的端，这样就可以封包发送到对端，收到包的对端 VxLAN 设备flannel.1解包后得到真实的目的地址。

查看Forwarding database列表

$ bridge fdb
26:5e:87:90:91:fc dev flannel.1 dst 10.0.0.3 self permanent


VxLAN in kubernetes

VxLAN packet with wireshark unpack

Notes：VxLAN 使用的 4789 端口，wireshark 应该是根据端口进行分析协议的，而 flannel 在 linux 中默认端口是 8472，此时抓包仅能看到是一个 UDP 包。

通过上述的架构可以看出，隧道实际上是一个抽象的概念，并不是建立的真实的两端的隧道，而是通过将数据包封装成另一个数据包，通过物理设备传输后，经由相同的设备（网络隧道）进行解包实现网络的叠加。

weave vxlan

weave 也是使用了VxLAN技术完成的包的封装，这个技术在weave中称之为fastdp (fast data path)，与calico和flannel中用到的技术不同的，这里使用的是 Linux 内核中的openvswitch datapath module，并且 weave 对网络流量进行了加密。

weave fastdp network topology

Notes：fastdp 工作在 Linux 内核版本 3.12 及更高版本，如果低于此版本的例如 CentOS7，weave 将工作在用户空间，weave 中称之为sleeve mode

Reference

https://github.com/flannel-io/flannel/blob/master/Documentation/backends.md#host-gw
https://projectcalico.docs.tigera.io/networking/bgp
https://www.weave.works/docs/net/latest/concepts/router-encapsulation/
https://github.com/k8snetworkplumbingwg/sriov-network-device-plugin
https://github.com/nokia/danm