openshift pod对外访问网络解析

分类：k8s作者：编程之家用户

openshift封装了k8s，在网络上结合ovs实现了多租户隔离，对外提供服务时报文需要经过ovs的tun0接口。下面就如何通过tun0访问pod(172.30.0.0/16)进行解析(下图来自理解OpenShift（3）：网络之 SDN，删除了原图的IP)

openshift版本如下：

# openshift version
openshift v3.6.173.0.5
kubernetes v1.6.1+5115d708d7
etcd 3.2.1

 首先在查看openshift上pod(该pod为elasticsearch)的路由，默认网关为10.131.2.1，出接口为eth0(IP:10.131.2.45)

sh-4.2$ ip route
default via 10.131.2.1 dev eth0
10.128.0.0/14 dev eth0
10.131.2.0/23 dev eth0 proto kernel scope link src 10.131.2.45
224.0.0.0/4 dev eth0

其次查看node节点的路由，到达pod service的cluster ip(172.30.229.30)的网段(172.30.0.0)出接口为tun0，因此外部流量首先会达到tun0，然后通过tun0转发到pod

[root@dt-infra1 home]# ip route
default via 10.122.70.1 dev eth0 proto static metric 100
10.122.70.0/24 dev eth0 proto kernel scope link src 10.122.70.72 metric 100
10.128.0.0/14 dev tun0 proto kernel scope link
172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1
172.30.0.0/16 dev tun0 scope link

查看node节点的接口信息如下(已删减无关接口信息)，可以看到vethd0d3571b就是pod中eth0接口的对端，tun0 IP地址也为pod中的默认网关，

[root@dt-infra1 home]# ip a
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 50:6b:8d:d4:25:db brd ff:ff:ff:ff:ff:ff
    inet 10.122.70.72/24 brd 10.122.70.255 scope global dynamic eth0
       valid_lft 2137631556sec preferred_lft 2137631556sec
    inet6 fe80::748f:487f:6bf1:685c/64 scope link tentative dadfailed
       valid_lft forever preferred_lft forever
    inet6 fe80::8fab:527e:43dd:f1b1/64 scope link tentative dadfailed
       valid_lft forever preferred_lft forever
    inet6 fe80::f2d6:994f:f43:cce5/64 scope link tentative dadfailed
       valid_lft forever preferred_lft forever
5: br0: <BROADCAST,MULTICAST> mtu 1450 qdisc noop state DOWN qlen 1000
    link/ether 8e:13:86:1d:ab:43 brd ff:ff:ff:ff:ff:ff
9: vxlan_sys_4789: <BROADCAST,LOWER_UP> mtu 65470 qdisc noqueue master ovs-system state UNKNOWN qlen 1000
    link/ether d6:48:30:3a:bb:d0 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::d448:30ff:fe3a:bbd0/64 scope link
       valid_lft forever preferred_lft forever
10: tun0: <BROADCAST,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN qlen 1000
    link/ether a6:02:fb:84:24:d0 brd ff:ff:ff:ff:ff:ff
    inet 10.131.2.1/23 scope global tun0
       valid_lft forever preferred_lft forever
    inet6 fe80::a402:fbff:fe84:24d0/64 scope link
       valid_lft forever preferred_lft forever
53: vethd0d3571b@if3: <BROADCAST,LOWER_UP> mtu 1450 qdisc noqueue master ovs-system state UP
    link/ether 0e:7d:3a:9f:ff:6e brd ff:ff:ff:ff:ff:ff link-netnsid 3
    inet6 fe80::c7d:3aff:fe9f:ff6e/64 scope link
       valid_lft forever preferred_lft forever

查看该pod的接口信息，可以看出eth0为一对veth pair，对应所在node节点编号为if53的veth

sh-4.2$ ip link
1: lo: <LOOPBACK,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT qlen 1
    link/loopback 00:00 brd 00
3: eth0@if53: <BROADCAST,1)">1450 qdisc noqueue state UP mode DEFAULT
    link/ether 0a:58:0a:83:02:2d brd ff:ff:ff:ff:ff:ff link-netnsid 0

从上图中可以看到tun0和pod的veth pair是连接到了一个bridge上，该bridge使用ovs创建的(ip link show type bridge 不可见)，使用如下命令可以查看位于br0的ports信息，上面连接了tun0和pod veth的对端

[root@dt-infra1 home]# ovs-vsctl show
b9e6f9ba-efb4-4d5f-97f0-e53191ccf174
    Bridge "br0"
        fail_mode: secure
        Port vxlan0
            Interface 
                type: vxlan
                options: {key=flow,remote_ip=flow}
        Port 
                type: internal
        Port vethd0d3571btun0
    ovs_version: 2.7.2"

使用如下命令可以查看该环境上的ovs bridge，当前环境只有一个br0

[root@dt-infra1 home]# ovs-vsctl list-br
br0

使用如下命令查看当前环境的port编号，该编号在openflow处理时用于指定接口

[root@dt-infra1 home]# ovs-ofctl -O OpenFlow13 dump-ports-desc br0
OFPST_PORT_DESC reply (OF1.3) (xid=0x2):
 1(vxlan0): addr:aa:fd:ab:96:85:ed
     config:     0
     state:      
     speed: 0 Mbps now, Mbps max
 2(tun0): addr:a6:02:fb:84:24:d0
     config:     10(vetha739667c): addr:9e:14:13:9c:6e:73
     config:     
     current:    10GB-FD COPPER
     speed: 10000 Mbps now,1)">37(veth6c630c72): addr:2e:f7:70:40:b6:fb
     config:     45(vethd0d3571b): addr:0e:7d:3a:9f:ff:6e
     config:      Mbps max
 LOCAL(br0): addr:8e:13:86:1d:ab:43
     config:     PORT_DOWN
     state:      LINK_DOWN
     speed: 0 Mbps max

与上述pod相关的iptables如下，在进入tun0之前会将ip DNAT为10.131.2.45:9200，即Container IP:ContainerPort

-A KUBE-SERVICES -d 172.30.229.30/32 -p tcp -m comment --comment logging/logging-es: cluster IP" -m tcp --dport 9200 -j KUBE-SVC-BWSQUABZDDFLJOKN
-A KUBE-SVC-BWSQUABZDDFLJOKN -m comment --comment logging/logging-es:" -j KUBE-SEP-H2SZLG7QT6WVYISM
-A KUBE-SEP-H2SZLG7QT6WVYISM -s 10.131.2.45/32 -m comment --comment " -j KUBE-MARK-MASQ
-A KUBE-SEP-H2SZLG7QT6WVYISM -p tcp -m comment --comment " -m tcp -j DNAT --to-destination 2.45:9200

从pod中出来的报文会传输到br0进行流表处理，然后选择出接口tun0。ovs流表在处理时有如下规则：

table 0: 根据输入端口（in_port）做入口分流，来自VXLAN隧道的流量转到表10并将其VXLAN VNI 保存到 OVS 中供后续使用，从tun0过阿里的（来自本节点或进本节点来做转发的）流量分流到表30，将剩下的即本节点的容器（来自veth***）发出的流量转到表20；
table 10: 做入口合法性检查，如果隧道的远端IP（tun_src）是某集群节点的IP，就认为是合法，继续转到table 30去处理;
table 20: 做入口合法性检查，如果数据包的源IP（nw_src）与来源端口（in_port）相符，就认为是合法的，设置源项目标记，继续转到table 30去处理；如果不一致，即可能存在ARP/IP欺诈，则认为这样的的数据包是非法的;
table 30: 数据包的目的（目的IP或ARP请求的IP）做转发分流，分别转到table 40~70 去处理;
table : 本地ARP的转发处理，根据ARP请求的IP地址，从对应的端口（veth）发出;
table 50: 远端ARP的转发处理，根据ARP请求的IP地址，设置VXLAN隧道远端IP，并从隧道发出;
table 60: Service的转发处理，根据目标Service，设置目标项目标记和转发出口标记，转发到table 80去处理;
table : 对访问本地容器的包，做本地IP的转发处理，根据目标IP，设置目标项目标记和转发出口标记，转发到table 80去处理;
table 80: 做本地的IP包转出合法性检查，检查源项目标记和目标项目标记是否匹配，或者目标项目是否是公开的，如果满足则转发;（这里实现了 OpenShift 网络层面的多租户隔离机制，实际上是根据项目/project 进行隔离，因为每个项目都会被分配一个 VXLAN VNI，table 80 只有在网络包的VNI和端口的VNI tag 相同才会对网络包进行转发）
table 90: 对访问远端容器的包，做远端IP包转发“寻址”，根据目标IP，设置VXLAN隧道远端IP，并从隧道发出;
table 100: 做出外网的转出处理，将数据包从tun0发出。

该pod对应有如下两条规则，对应arp和ip协议的处理。第一条为arp处理，直接转发到port 45，即pod的veth0对端；后两条为ip处理，第二条首先对目的地址进行判断，然后将0x2d加载到NXM_NX_REG2中，第三条接着处理，对源地址10.131.2.1(即tun0)的报文转发到NXM_NX_REG2[](即0x2d，十进制值为45，为pod的veth对端)

1 cookie=0x0,duration=1876880.378s,table=40,n_packets=30185,n_bytes=1267770,priority=100,arp,arp_tpa=2.45 actions=output:
2 cookie=1876880.373s,1)">70,1)">743139978,1)">738498091589,ip,nw_dst=2.45 actions=load:0->NXM_NX_REG1[],load:0x2d->NXM_NX_REG2[],goto_table:
3 cookie=9851088.683s,1)">80,1)">29879646,1)">113936915873,1)">300,nw_src=2.1 actions=output:NXM_NX_REG2[]

 

总结：

报文从外部到pod的整个流程为：node route->iptables->ovs流表->pod。需要注意的是pod内部通信走的是vxlan。全流程参见SDN Flows Inside a Node

TIPS：

  •  pod间通信是通过vxlan进行的，ovs网桥中会进行vxlan的封包，到达pod的报文转发到vxlan端口中，将目的node IP作为报文外部目的地址（tun_dst表示outer ip dst），参见OpenShift SDN
  • 外部访问pod是通过router接受流量转换为内部pod之间的通信，即vxlan方式
  • 本机访问本机的pod根据路由转发到tun0

参考：

https://cloud.tencent.com/developer/article/1070415

https://blog.51cto.com/c2014/1829179

http://www.cnblogs.com/sammyliu/p/10064450.html

http://www.openvswitch.org/support/dist-docs-2.5/ovs-ofctl.8.html

http://www.openvswitch.org/support/dist-docs/ovs-fields.7.txt

https://www.ibm.com/developerworks/cn/cloud/library/1401_zhaoyi_openswitch/index.html

https://www.ibm.com/developerworks/cn/linux/l-tuntap/

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

【博客694】k8s kubelet 状态更新机制
文章浏览阅读942次。kube-controller-manager 和 kubelet 是异步工作的，这意味着延迟可能包括任何的网络延迟、apiserver 的延迟、etcd 延迟，一个节点上的负载引起的延迟等等。当 Kubernetes 中 Node 节点出现状态异常的情况下，节点上的 Pod 会被重新调度到其他节点上去，但是有的时候我们会发现节点 Down 掉以后，Pod 并不会立即触发重新调度，这实际上就是和 Kubelet 的状态更新机制密切相关的，Kubernetes 提供了一些参数配置来触发重新调度的时间。_node-monitor-period
滴滴弹性云基于 K8S 的调度实践
文章浏览阅读3.8k次。上篇文章详细介绍了弹性云混部的落地历程，弹性云是滴滴内部提供给网约车等核心服务的容器平台，其基于 k8s 实现了对海量 node 的管理和 pod 的调度。本文重点介绍弹性云的调度能力，分为以下部分：调度链路图：介绍当前弹性云调度体系链路，对架构体系有一个初步的认知k8s 调度能力的运用：整体介绍弹性云现在用到的 k8s 调度能力和对其的增强k8s 版本的升级：介绍到从 k8s 1.12 到 1...._滴滴机房 腾讯
NUMA架构在kubernetes中的应用
文章浏览阅读897次。对于cpu来说，这种分配方式并不会有太大问题，因为cpu可以灵活调度，numa调度时我们只计算绑定了numa cpu的pod是可以接受的，但是对于内存来说，numa node上申请了的内存无法做到随时迁移，这就会导致调度器视角numa node的mem资源足够，但是等到pod真正使用时，由于没有绑定numa node的pod申请的内存，导致numa node的mem资源不足，造成swap中断或者远端内存申请，这会对绑定mem的pod来带来性能损耗。忽略了没有绑定numa node的pod资源。_kubectl numa
k8s中资源对象有哪些及它们如何协作
文章浏览阅读796次，点赞17次，收藏15次。只要在Service定义中设置了ClusterIp:None，就定义了一个HeadLess Service， 它与普通的Service关键区别在于它没有ClusterIp地址，如果解析HeadLess Service的DNS域名，则会返回该Service对应的全部Pod的EndPoint列表，这就意味着客户端是直接与后端的pod建立了TCP/IP链接进行通信的。一个Label是一个键值对。注解：属于资源对象的元数据，可以被理解为一种特殊的标签，不过更多的是与程序挂钩，通常用于实现资源对象属性的自定义扩展。
Kubernetes 部署DolphinScheduler 创建租户失败
文章浏览阅读763次。但是此时如果配置成 NONE, 租户创建成功了，但是无法创建资源文件，也就是无法上传文件，可能 dolphinscheduler 团队就想着将文件上传到 hdfs，暂不支持本地。需要将 resource.storage.type 置为 NONE, 因为我之前用的 1.3.6 版本的时候，即使资源文件存在本地文件也需要配置成 hdfs。_[error] 2023-10-24 18:10:43.762 +0800 org.apache.dolphinscheduler.api.servic
Kubernetes[k8s] 最新版1.27.3 - 1.28.0安装教程,使用containerd模式
文章浏览阅读2.7k次，点赞2次，收藏13次。公司使用的是交老的k8s版本（1.16），由于老版本的K8s对于现在很多新特性不支持，所以需要升级到新版本。目前2023年7月11日最新版本的k8s是v1.27.3。通过参考官方文档进行k8s部署工作。其中涉及到操作系统配置、防火墙配置、私有镜像仓库等。_k8s最新版本
kubernetes新版本使用kubeadm init的超全问题解决和建议
文章浏览阅读1.8w次，点赞14次，收藏27次。能节省你在kubeadm init 时遇到问题的排错时间⌚️。整合了网上大佬
Kubernetes(K8S)集群部署
文章浏览阅读1.1k次，点赞2次，收藏7次。具体操作步骤可以参考之前的教程，建议是先安装一台，然后克隆虚拟机，这样速度快。注意：在克隆时记得修改Mac地址、IP地址、UUID和主机名。（最后别忘了保存下快照~）_部署k8s集群
k8s从初识到上天系列第二篇：kubernetes的组件和架构
文章浏览阅读863次，点赞23次，收藏16次。当部署完 Kubernetes，便拥有了一个完整的集群。一组工作机器，称为节点， 会运行容器化应用程序。每个集群至少有一个工作节点。工作节点会 托管Pod ，而 Pod 就是作为应用负载的组件。控制平面管理集群中的工作节点和Pod。说人话版本：集群：cluster，多个几点被组织到一起共同为系统提供服务过程称之为集群。本质上是将承载同一个软件服务节点组织到一起，称之为该软件(服务)的集群，当然集群中的节点身份地位是不一样的。k8s集群也是如此，他也是多个节点组成。
Rancher管理K8S
文章浏览阅读943次。Rancher是一个开源的企业级多集群Kubernetes管理平台，实现了Kubernetes集群在混合云+本地数据中心的集中部署与管理，以确保集群的安全性，加速企业数字化转型。Rancher 1.0版本在2016年就已发布，时至今日，Rancher已经成长为企业在生产环境中运行容器和Kubernetes的首要选择。_rancher管理k8s
kubeadm搭建k8s高可用集群（keepalived+nginx+3master）
文章浏览阅读742次，点赞2次，收藏3次。本篇来讲解如何在centos下安装部署高可用k8s集群。_kubeadm ha keepalived + nginx
OpenEular23.09（欧拉）操作系统为企业搭建独立的K8S集群环境，详细流程+截图
文章浏览阅读1.9k次，点赞21次，收藏25次。那么这个空间设置成内存的2倍大小。点击IPv4设置--手动--添加--设置ip--设置DNS服务器，最后点击--“保存”；首先选中--“本地标准磁盘”，存储配置--自定义分区，点击--“完成”；在--主机名--设置主机名：（例如k8s-master01)，点击--点击+，设置--挂载点/boot--期望容量，点击--添加挂载点；点击--+--挂载点swap--期望容量，点击--“添加挂载点”；默认选择--亚洲--上海，并调整日期和时间，点击--“完成”；设备类型--确认--LVM，卷组--选择“修改”；_euler 服务器搭建
tkestack/gpu-manager在k8s1.23版本之后的使用
文章浏览阅读1k次。在1.25版本的k8s集群中部署gpu-manage时，虽然显示gpu节点上gpu-manage的pod实例都是running状态，但是给pod申领。既可以用源码的Makefile自动编译打包成新的镜像，但是源码的。说明gpu-manager和容器运行时接口通信失败了。编译后的镜像在1.25版本的k8s中可以正常使用。，但是在k8s1.23版本之后，接口路径已经改为。资源时，却始终找不到有资源的节点。，另外有一些依赖需要国际上的支持。可以看到这里用的运行时接口是。查看节点的详情时，返回的。_launch gpu manager 报错 can't create container runtime manager: context dead
k8s存储卷-动态PV
文章浏览阅读1k次，点赞18次，收藏16次。SelfLink：API的资源对象之一，表示资源对象在集群当中自身的一个连结，self-Link是一个唯一的标识号，可以用于标识k8s集群当中的每个资源的对象。容器里使用的配置，在provisioner当中定义好环境变量，传给容器，storageclass的名称，NFS服务器的地址，NFS的目录。NFS的provisionner的客户端以pod的方式运行在集群当中，监听k8s集群当中PV的请求，然后动态的创建于NFS相关的PV。命名为 nfs-client-provisioner-clusterrole。
K8S证书过期解决办法之替换证书
文章浏览阅读6.3k次，点赞2次，收藏20次。k8s证书过期解决方案之替换证书_k8s证书过期如何更换
K8S集群中使用JDOS KMS服务对敏感数据安全加密 | 京东云技术团队
文章浏览阅读1k次。KMS，Key Management Service，即密钥管理服务，在K8S集群中，以驱动和插件的形式启用对Secret，Configmap进行加密。以保护敏感数据
K8S exporter应用
文章浏览阅读888次。exporter对于云服务的监控还是很不完美，毕竟每家都有自己的护城河。自动发现多实例这样的借助consul 阿波罗这样的会简单一些。aws可以借助cloudwatch这样的导入模板到grafana中。还是希望能将类似腾讯云云监控中的这些指标采集到prometheus中，但是这过程应该还很遥远grafana出图 prometheus查询语法这些东西有时间的好好研究一下。报警有必要进行分级别，收敛配置一下！_command: - "-redis.password-file=/redis_passwd.json
Kubernetes 默认的4种命名空间
文章浏览阅读1k次。可以在此处（https://cloud.google.com/kubernetes-engine/docs/how-to/kube-dns）和此处（https://www.digitalocean.com/community/tutorials/an-introduction-to-the-kubernetes-dns-service）找到更多的详细信息。-or-ipvs/）和此处（https://arthurchiao.art/blog/cracking-k8s-node-proxy/）。_k8s默认命名空间
【C站首发】全网最新Kubernetes（K8s）1.28版本探秘及部署 基于Containerd容器运行时（100年证书kubeadm）
文章浏览阅读4.9k次，点赞11次，收藏32次。如果运行runc命令时提示：runc: error while loading shared libraries: libseccomp.so.2: cannot open shared object file: No such file or directory，则表明runc没有找到libseccomp，需要检查libseccomp是否安装，本次安装默认就可以查询到。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。_kubernetes 1.28
【K8S系列】深入解析k8s网络插件—Canal
文章浏览阅读3.6w次，点赞118次，收藏144次。Canal 提供了网络功能，使得 Kubernetes 集群中的 Pod 可以相互通信，并与集群外部的服务进行通信。它通过网络插件的方式，为每个 Pod 分配唯一的 IP 地址，并管理网络流量的路由和转发。此外，Canal 还支持网络策略，用于定义 Pod 之间的通信规则和安全策略。Canal 基于 Calico 和 Flannel 项目，结合了二者的优点。它使用 Calico 的数据平面，提供高性能的网络转发和安全特性，同时使用 Flannel 的控制平面，实现 IP 地址管理和网络策略的配置。_k8s canal
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot