业务部署到tke集群中，很多时候需要通过公网去调用第三方接口服务，正常pod访问公网是依赖于节点访问公网的能力，节点访问公网可以给节点绑定公网ip或者给vpc绑定nat网关。其实在tke中，我们还可以给pod绑定弹性公网ip（eip），让pod通过绑定的eip去访问公网。下面我们来说说如何给pod配置eip，并通过eip去访问公网。
1. 固定ip的pod绑定eip
tke集群内给pod绑定eip，前提条件是pod的网络模式必须为vpc-cni的固定ip模式，如果你创建集群选择的是GlobalRouter，那么在集群开启vpc-cni模式即可，如果你创建集群是vpc-cni模式，必须要注意勾选上固定ip，vpc-cni模式下，集群网络模式选定后无法更改。当你的集群是固定ip模式后，可以参考文档的示例yaml给pod绑定eip，这里就不详细描述了。
https://cloud.tencent.com/document/product/457/50358
2. 更新ip-masq-agent版本和配置
参考了上一步部署好pod之后，pod还不能直接走eip访问公网，为什么呢？因为在tke集群中有一个组件ip-masq-agent，这个组件会将容器网段snat到主网卡上去访问公网，因此pod访问公网还是走主网卡出去，主网卡访问公网可能是主网卡的公网ip或者nat网段，因此此时pod访问公网还是走节点主网卡公网ip或者nat网关的eip。
为了解决这个问题，tke这边将ip-masq-agent做了优化升级，添加了一个配置NonMasqueradeSrcCIDRs，这个配置就是说哪些配置的源ip不做snat，其实就是这个配置里面的ip段，不会snat成节点主网卡ip，而是走pod所在的辅助网卡出去。
由于NonMasqueradeSrcCIDRs这个功能当前还未正式上线，默认的版本不包含这个功能，大家如果想用这个功能可以更新下集群的ip-masq-agent组件镜像版本。
# kubectl edit ds -n kube-system ip-masq-agent -o yaml
更新 spec.template.spec.containers[0].image tag 为 v2.6.0-alpha.0更新组件版本后，我们还需要将绑定eip的pod ip加入到ip-masq-agent-config的NonMasqueradeSrcCIDRs字段中，这里意味着需要提前获取需要加入的pod ip，因此我们需要创建好绑定eip的pod之后，再将pod ip配置到ip-masq-agent-config这个configmap里面，如果这里pod ip无法提前确认，但是固定ip的子网是确定的，这里也可以将pod的固定ip子网网段加入到NonMasqueradeSrcCIDRs字段中，配置好之后，ip-masq-agent每隔1分钟会自动加载配置生效，当然也可以手动重建pod生效。
# kubectl edit cm -n kube-system ip-masq-agent-config -o yaml
配置方式参考如下
apiVersion: v1
data:
config: '{"NonMasqueradeCIDRs":["172.25.0.0/16","10.0.0.0/16"],"MasqLinkLocal":true,"ResyncInterval":"1m0s","NonMasqueradeSrcCIDRs":["10.0.33.2/32","10.0.33.3/32"]}'3. 修改vpc路由表
第二步都配置好之后，如果你的节点出去走公网是节点公网ip，没有绑定nat网关的话，pod就可以直接通过绑定的eip访问公网了，不需要修改vpc路由表了。
但是当你的集群节点没有公网ip，节点是通过nat网关访问公网，又或者说你的节点有公网ip同时也配置了nat网关，那么这个时候pod访问公网还是不会走eip，还是默认走nat网关。 因为在vpc的路由策略里面，当一个子网关联了 NAT 网关，且子网内云服务器有公网 IP（或弹性 IP）时，会默认通过 NAT网关访问 Internet（因为最精确路由的优先级高于公网 IP）。
如果你想pod通过绑定的eip出公网，需要在路由表加一条策略云服务器公网 IP 访问 Internet，这样pod访问公网才会走绑定的eip。
4. 测试pod访问公网
当上面的所有修改完成后，我们可以简答测试下，是否绑定了eip的pod出公网是走自己的eip，没绑定的eip还是走节点主网卡公网ip或者nat网关（vpc绑定了nat网关）
- 根据下面步骤配置，绑定了eip的pod，这里出公网是走绑定的eip 。
这里测试符合预期。
- 节点有公网ip并且也有给vpc绑定nat网关，但是路由表配置了云服务器公网 IP 访问 Internet，所以测试未绑定eip的pod，出去的公网ip是节点主网卡的公网ip。
这里测试符合预期。
5. 如何删除pod的固定ip和eip
固定ip模式支持配置pod固定ip和eip的回收策略。分别在yaml配置tke.cloud.tencent.com/vpc-ip-claim-delete-policy
和tke.cloud.tencent.com/eip-claim-delete-policy这2个字段，如果不配置默认是Immediate马上回收，也就是说你销毁pod，固定ip和eip都会回收，固定ip和eip是否回收，可以到集群查看vipc和eipc这2个资源对象是否删除。
[root@VM-0-13-centos ~]# kubectl api-resources | grep ipc
eipclaims eipc networking.tke.cloud.tencent.com true EIPClaim
vpcipclaims vipc networking.tke.cloud.tencent.com true VpcIPClaim示例yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
labels:
k8s-app: busybox
name: busybox
namespace: default
spec:
replicas: 3
selector:
matchLabels:
k8s-app: busybox
qcloud-app: busybox
serviceName: ""
template:
metadata:
annotations:
tke.cloud.tencent.com/networks: "tke-route-eni"
tke.cloud.tencent.com/vpc-ip-claim-delete-policy: Never
tke.cloud.tencent.com/eip-attributes: ""
tke.cloud.tencent.com/eip-claim-delete-policy: "Never"
creationTimestamp: null
labels:
k8s-app: busybox
qcloud-app: busybox
spec:
containers:
- args:
- "10000000000"
command:
- sleep
image: busybox
imagePullPolicy: Always
name: busybox
resources:
limits:
tke.cloud.tencent.com/eni-ip: "1"
tke.cloud.tencent.com/eip: "1"
requests:
tke.cloud.tencent.com/eni-ip: "1"
tke.cloud.tencent.com/eip: "1"如果你配置的eip-claim-delete-policy和vpc-ip-claim-delete-policy策略是never，那么你删除了pod，对应的eip和固定ip不会删除掉，你想删除固定ip和eip的话，可以修改yaml，将tke.cloud.tencent.com/vpc-ip-claim-delete-policy和tke.cloud.tencent.com/eip-claim-delete-policy这2个注解删除掉，然后更新pod即可。
当然你也可以修改yaml去除字段，然后手动删除pod对应的eipc和vipc。
原文地址：https://cloud.tencent.com/developer/article/1894999
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。