容器编排系统K8s之NetworkPolicy资源

  前文我们了解了k8s的网络插件flannel的基础工作逻辑,回顾请参考:https://www.cnblogs.com/qiuhom-1874/p/14225657.html;今天我们来聊一下k8s上的NetworkPolicy相关话题;

  NetworkPolicy资源是做什么用的?

  我们知道在k8s上我们可以用名称空间来隔离多个资源,在不同名称空间下我们可以创建相同名称和相同类型的资源;有些资源还必须依赖名称空间才可以被创建;但是在k8s上,名称空间不可以隔离网络,所谓隔离网络是指不管pod创建在那个名称空间下,都可以被其他名称空间下pod访问到;如果我们想要限制对应名称空间下的pod被别的名称空间或外部客户端访问,我们可以在对应名称空间下创建NetworkPolicy资源;该资源可以限制哪些pod可以被外部客户端访问,或者哪些pod不能够被哪个或哪些名称空间的pod访问;除了能够限制对应名称空间下的pod网络入站流量,它还可以限制对应名称空间下的pod出站的流量,允许或拒绝某个或某些个pod访问别的名称空间下pod或外部某服务等;我们可以简单的理解NetworkPolicy就是对应名称空间的一道防火墙;我们把NetworkPolicy资源创建在对应名称空间下,那么它就能实现对该名称空间下的pod进行流量管控;

  NetworkPolicy基础工作逻辑

  提示:首先networkpolicy是作用于一个名称空间下的pod资源之上而进行的流量管控;它可以通过pod选择器来选择对应名称空间下pod,满足对应选择器的条件的pod,将受到networkpolicy中定义的策略管控,默认pod选择器没有明确定义表示匹配对应名称空间下的所有pod;Egress是用来定义pod出站策略,默认显式定义的策略都是被允许出站的,没有定义表示拒绝;对于ingress也是同样的逻辑,只有显式定义的规则才被允许,没有定义就表示拒绝;对于出站流量来说,默认我们定义或不定义它都不会生效,都是允许放行的,只有显式配置对应出站规则生效,它才会生效;

  示例:定义dev名称空间下的pod不允许任何客户端访问

[root@master01 ~]# cat denyall-ingress-dev.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-all-ingress
  namespace: dev
spec:
  podSelector: {}
  policyTypes:
  - Ingress
[root@master01 ~]# 

  提示:以上资源清单表示对dev名称空间下的pod的入站流量进行管控,拒绝所有客户端访问对应dev名称空间下的pod;这其中包含dev名称空间下的pod;

  应用资源清单

  在应用之前请确保你所部署的网络插件支持网络策略,默认flannel网络插件不支持网络策略,我们需要部署canel这个网络插件,该插件能够结合flannel插件,让其拥有calico的网络策略功能;

  部署canel

[root@master01 ~]# kubectl apply -f https://docs.projectcalico.org/manifests/canal.yaml
configmap/canal-config created
customresourcedefinition.apiextensions.k8s.io/bgpconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/bgppeers.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/blockaffinities.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/clusterinformations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/felixconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/globalnetworkpolicies.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/globalnetworksets.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/hostendpoints.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ipamblocks.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ipamconfigs.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ipamhandles.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ippools.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/kubecontrollersconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/networkpolicies.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/networksets.crd.projectcalico.org created
clusterrole.rbac.authorization.k8s.io/calico-kube-controllers created
clusterrolebinding.rbac.authorization.k8s.io/calico-kube-controllers created
clusterrole.rbac.authorization.k8s.io/calico-node created
clusterrole.rbac.authorization.k8s.io/flannel configured
clusterrolebinding.rbac.authorization.k8s.io/canal-flannel created
clusterrolebinding.rbac.authorization.k8s.io/canal-calico created
daemonset.apps/canal created
serviceaccount/canal created
deployment.apps/calico-kube-controllers created
serviceaccount/calico-kube-controllers created
poddisruptionbudget.policy/calico-kube-controllers created
[root@master01 ~]# 

  提示:等待上述资源都正常运行以后,我们就可以应用资源清单,让其网络策略生效;

  创建dev名称空间,并在其下创建一个deploy控制器,控制器创建3个nginx pod

[root@master01 manifests]# cat pod-demo.yaml
apiVersion: v1
kind: Namespace
metadata:
  name: dev
  labels:
    name: dev
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-dep
  namespace: dev
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
      rel: stable
  template:
    metadata:
      labels:
        app: nginx
        rel: stable
    spec:
      containers:
      - name: nginx
        image: nginx:1.14-alpine
        imagePullPolicy: IfNotPresent
        ports:
        - name: http
          containerPort: 80
[root@master01 manifests]# kubectl apply -f pod-demo.yaml
namespace/dev unchanged
deployment.apps/nginx-dep created
[root@master01 manifests]# kubectl get pods -n dev -o wide
NAME                        READY   STATUS    RESTARTS   AGE   IP           NODE             NOMINATED NODE   READINESS GATES
nginx-dep-cb74c595f-5d9tb   1/1     Running   0          51s   10.244.4.6   node04.k8s.org   <none>           <none>
nginx-dep-cb74c595f-ftmn9   1/1     Running   0          51s   10.244.1.5   node01.k8s.org   <none>           <none>
nginx-dep-cb74c595f-jf9p9   1/1     Running   0          51s   10.244.3.4   node03.k8s.org   <none>           <none>
[root@master01 manifests]# 

  在没有应用上述网络策略前,用default里的pod访问对应dev名称空间下pod,看看是否可以正常访问?

[root@master01 manifests]# kubectl get pods -n dev -o wide
NAME                        READY   STATUS    RESTARTS   AGE   IP           NODE             NOMINATED NODE   READINESS GATES
nginx-dep-cb74c595f-5d9tb   1/1     Running   0          86s   10.244.4.6   node04.k8s.org   <none>           <none>
nginx-dep-cb74c595f-ftmn9   1/1     Running   0          86s   10.244.1.5   node01.k8s.org   <none>           <none>
nginx-dep-cb74c595f-jf9p9   1/1     Running   0          86s   10.244.3.4   node03.k8s.org   <none>           <none>
[root@master01 manifests]# kubectl get pods 
NAME    READY   STATUS    RESTARTS   AGE
web-0   1/1     Running   6          3d16h
web-1   1/1     Running   5          3d16h
web-2   1/1     Running   6          3d16h
[root@master01 manifests]# kubectl exec web-0 -it -- /bin/sh
/ # wget -O - -q 10.244.4.6
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma,Verdana,Arial,sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page,the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
/ # 

  提示:可以看到用default名称空间下的pod,是可以正常访问dev名称空间下的pod;

  应用资源清单

[root@master01 ~]# cat denyall-ingress-dev.yaml 
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-all-ingress
  namespace: dev
spec:
  podSelector: {}
  policyTypes:
  - Ingress
[root@master01 ~]# kubectl apply -f denyall-ingress-dev.yaml
networkpolicy.networking.k8s.io/deny-all-ingress created
[root@master01 ~]# kubectl get netpol -n dev
NAME               POD-SELECTOR   AGE
deny-all-ingress   <none>         10s
[root@master01 ~]# kubectl describe netpol deny-all-ingress -n dev
Name:         deny-all-ingress
Namespace:    dev
Created on:   2021-01-04 15:34:40 +0800 CST
Labels:       <none>
Annotations:  <none>
Spec:
  PodSelector:     <none> (Allowing the specific traffic to all pods in this namespace)
  Allowing ingress traffic:
    <none> (Selected pods are isolated for ingress connectivity)
  Not affecting egress traffic
  Policy Types: Ingress
[root@master01 ~]# 

  提示:从上面的netpol资源的详细信息中可以了解到,对应netpol资源pod选择器为none表示选择对应名称空间下的所有pod,allowing ingress traffic 也是为none表示没有任何客户端允许访问该名称空间下的pod;没有出站策略,表示拒绝所有出站流量;默认只是入站规则生效,所以这里的出站规则不生效,即不限制出站流量;policyTypes表示对应的那个策略生效,默认不指定是Ingress;

  验证:使用default名称空间下的pod访问dev名称空间下的pod,看看是否还可以正常访问?

  提示:可以看到现在default名称空间下的pod是不能访问dev名称空间下的pod;

  验证:dev名称空间下的pod访问同名称空间下的pod,看看是否可以允许访问?

  提示:可以看到在dev名称空间下的pod也没法访问dev名称空间下的pod,但是自己可以访问自己,其原因是自己访问自己,流量不会出站,在lo接口就被处理了,所以自己访问自己不受限制;

  验证:使用dev名称空间下的pod访问default名称空间下的pod,看看是否被允许 ?

  提示:可以看到使用dev名称空间下的pod访问default名称空间下的pod上没有问题,说明刚才的那条规则只是限制了dev名称空间下的pod的入站流量,并没有限制其出站流量;上面访问10.244.4.5和3.3响应404,是因为对应pod上的web服务没有主页;

  示例:限制dev名称空间下的pod的出站流量,拒绝所有pod流量出站

[root@master01 ~]# cat denyall-Egress.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata: 
  name: deny-all-egress
  namespace: dev
spec:
  podSelector: {}
  policyTypes:
  - Egress
[root@master01 ~]# 

  提示:policyTypes字段用来控制那个类型的规则生效,该字段是一个列表,默认是Ingress,表示只对入站流量做限制,如果明确手动定义为Egress表示,只限制出站流量;出站策略和入站策略的逻辑都是一样的,只要没有明且定义的,都是表示拒绝操作,只有明确定义的才表示对应允许操作;上述没有定义任何出站规则,表示拒绝所有pod访问外部服务;

  应用资源清单

[root@master01 ~]# kubectl apply -f denyall-Egress.yaml
networkpolicy.networking.k8s.io/deny-all-egress created
[root@master01 ~]# kubectl get netpol -n dev
NAME               POD-SELECTOR   AGE
deny-all-egress    <none>         10s
deny-all-ingress   <none>         24m
[root@master01 ~]# kubectl describe netpol deny-all-egress -n dev
Name:         deny-all-egress
Namespace:    dev
Created on:   2021-01-04 15:59:16 +0800 CST
Labels:       <none>
Annotations:  <none>
Spec:
  PodSelector:     <none> (Allowing the specific traffic to all pods in this namespace)
  Not affecting ingress traffic
  Allowing egress traffic:
    <none> (Selected pods are isolated for egress connectivity)
  Policy Types: Egress
[root@master01 ~]# 

  验证:进入dev名称空间下的pod交互式接口,看看是否可以访问其他名称空间下的pod?

  提示:可以看到现在dev名称空间下的pod访问default名称空间下的pod就不能访问了;

  验证:删除入站限制,使用dev名称空间下的pod互相访问,看看是否可以正常访问呢?

[root@master01 ~]# kubectl get netpol -n dev
NAME               POD-SELECTOR   AGE
deny-all-egress    <none>         5m50s
deny-all-ingress   <none>         30m
[root@master01 ~]# kubectl delete netpol deny-all-ingress -n dev
networkpolicy.networking.k8s.io "deny-all-ingress" deleted
[root@master01 ~]# kubectl get netpol -n dev                    
NAME              POD-SELECTOR   AGE
deny-all-egress   <none>         6m9s
[root@master01 ~]# kubectl get pods -n dev -o wide                             
NAME                        READY   STATUS    RESTARTS   AGE   IP           NODE             NOMINATED NODE   READINESS GATES
nginx-dep-cb74c595f-5d9tb   1/1     Running   0          34m   10.244.4.6   node04.k8s.org   <none>           <none>
nginx-dep-cb74c595f-ftmn9   1/1     Running   0          34m   10.244.1.5   node01.k8s.org   <none>           <none>
nginx-dep-cb74c595f-jf9p9   1/1     Running   0          34m   10.244.3.4   node03.k8s.org   <none>           <none>
[root@master01 ~]# kubectl exec -it nginx-dep-cb74c595f-5d9tb -n dev -- /bin/sh
/ # wget -O - -q 10.244.1.5
^C
/ # wget -O - -q 10.244.3.4
^C
/ # wget -O - -q 10.244.4.6
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma,the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
/ # 

  提示:可以看到限制了出站流量以后,在同一名称空间下的pod也是无法正常访问的;但是自己可以访问自己;

  示例:限制dev名称空间下的pod的出站流量,允许dev名称空间下的pod互相访问

[root@master01 ~]# cat allow-dev-Egress.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-dev-egress
  namespace: dev
spec:
  podSelector: {}
  egress:
    - to:
      - podSelector:
          matchLabels:
            app: nginx
            rel: stable
      ports:
      - port: 80
        protocol: TCP 
  policyTypes:
  - Egress
[root@master01 ~]# 

  提示:限制出站流量,可以在spec.egress中来定义允许的出站的规则;其中to字段是用来描述被访问端,其值类型是一个列表对象;podSelector字段是用来描述被访问端pod选择器,只有满足对应pod选择器的条件的pod都被允许出站;spec.egress.ports字段是用来描述被访问端点端口信息;该字段为一个列表对象;这里需要注意,默认没有在规则指定其名称空间表示匹配当前netpol所在名称空间;以上清单表示dev下的pod允许访问dev名称空间下标签为app=nginx,rel=stable的pod的80端口;

  删除deny-all-egress出站策略,应用其资源清单

[root@master01 ~]# kubectl get netpol -n dev
NAME              POD-SELECTOR   AGE
deny-all-egress   <none>         26m
[root@master01 ~]# kubectl delete netpol deny-all-egress -n dev
networkpolicy.networking.k8s.io "deny-all-egress" deleted
[root@master01 ~]# kubectl apply -f allow-dev-Egress.yaml
networkpolicy.networking.k8s.io/allow-dev-egress created
[root@master01 ~]# kubectl get netpol -n dev
NAME               POD-SELECTOR   AGE
allow-dev-egress   <none>         10s
[root@master01 ~]# kubectl describe netpol allow-dev-egress -n dev
Name:         allow-dev-egress
Namespace:    dev
Created on:   2021-01-04 16:34:23 +0800 CST
Labels:       <none>
Annotations:  <none>
Spec:
  PodSelector:     <none> (Allowing the specific traffic to all pods in this namespace)
  Not affecting ingress traffic
  Allowing egress traffic:
    To Port: 80/TCP
    To:
      PodSelector: app=nginx,rel=stable
  Policy Types: Egress
[root@master01 ~]# 

  验证:进入dev名称空间下pod的里,看看是否可以正常访问dev名称空间下的pod?

[root@master01 ~]# kubectl get pods -n dev -o wide
NAME                        READY   STATUS    RESTARTS   AGE   IP           NODE             NOMINATED NODE   READINESS GATES
nginx-dep-cb74c595f-5d9tb   1/1     Running   0          65m   10.244.4.6   node04.k8s.org   <none>           <none>
nginx-dep-cb74c595f-ftmn9   1/1     Running   0          65m   10.244.1.5   node01.k8s.org   <none>           <none>
nginx-dep-cb74c595f-jf9p9   1/1     Running   0          65m   10.244.3.4   node03.k8s.org   <none>           <none>
[root@master01 ~]# kubectl exec -it -n dev nginx-dep-cb74c595f-5d9tb -- /bin/sh
/ # wget -O - -q 10.244.1.5
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma,the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
/ # wget -O - -q 10.244.3.4
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma,the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
/ # 

  提示:可以看到dev名称空间pod访问dev名称空间下的pod可以正常访问;

  验证:使用dev名称空间pod访问default名称空间下,标签为app=nginx,rel=stable的pod,看看是否可以正常访问?

[root@master01 ~]# kubectl get pods -n dev 
NAME                        READY   STATUS    RESTARTS   AGE
nginx-dep-cb74c595f-27qjp   1/1     Running   2          88m
nginx-dep-cb74c595f-b92s4   1/1     Running   1          88m
nginx-dep-cb74c595f-wdqnh   1/1     Running   1          88m
[root@master01 ~]# kubectl get pods -o wide --show-labels                      
NAME                        READY   STATUS    RESTARTS   AGE     IP            NODE             NOMINATED NODE   READINESS GATES   LABELS
nginx-dep-cb74c595f-5mwl2   1/1     Running   1          89m     10.244.4.18   node04.k8s.org   <none>           <none>            app=nginx,pod-template-hash=cb74c595f,rel=stable
nginx-dep-cb74c595f-vxc9z   1/1     Running   1          89m     10.244.3.12   node03.k8s.org   <none>           <none>            app=nginx,rel=stable
nginx-dep-cb74c595f-z265t   1/1     Running   1          89m     10.244.2.13   node02.k8s.org   <none>           <none>            app=nginx,rel=stable
web-0                       1/1     Running   8          3d20h   10.244.2.14   node02.k8s.org   <none>           <none>            app=nginx,controller-revision-hash=web-6db9455fdf,statefulset.kubernetes.io/pod-name=web-0
web-1                       1/1     Running   7          3d20h   10.244.4.16   node04.k8s.org   <none>           <none>            app=nginx,statefulset.kubernetes.io/pod-name=web-1
web-2                       1/1     Running   8          3d20h   10.244.3.11   node03.k8s.org   <none>           <none>            app=nginx,statefulset.kubernetes.io/pod-name=web-2
[root@master01 ~]# kubectl exec -it nginx-dep-cb74c595f-27qjp -n dev -- /bin/sh
/ # wget -O - -q 10.244.4.18
^C
/ # wget -O - -q 10.244.3.12
^C
/ # wget -O - -q 10.244.2.13
^C
/ # 

  提示:可以看到dev名称空间下的pod访问default名称空间下标签为app=nginx,rel=stable的pod也是无法正常访问,原因是我们在策略中没有指定对应访问目标的名称空间,默认就是对应netpol所在名称空间;

  示例:允许dev名称空间下的pod访问default和dev名称空间下标签为app=nginx,rel=stable的pod

[root@master01 ~]# cat allow-dev-def-egress.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-dev-egress
  namespace: dev
spec:
  podSelector: {} 
  egress:
    - to:
      - namespaceSelector:
          matchExpressions:
          - key: name
            operator: In
            values: ["def","dev"]
        podSelector:
          matchLabels:
            app: nginx
            rel: stable
      ports:
      - port: 80
        protocol: TCP 
  policyTypes:
  - Egress
[root@master01 ~]# 

  提示:spec.egress.to中的namespeceSelector字段使用来描述被访问端所在名称空间;podSelector字段是用来描述被访问端的pod;如果这两个字段中只有一个字段前用了“-”,那么namespaceSelector和podSelector所指定的条件是与关系,即两个条件必须都满足;如果两个字段都用了“-”开头,则两个字段所指定的条件就是或关系,即满足其中一个字段的条件都可以被规则匹配;上述示例表示dev下的所有pod能够访问名称空间上的标签是name=def或name=dev的名称空间下的pod,并且这些pod的标签必须是app=nginx,rel=stable;即要想被dev名称空间下的pod所访问,对应pod的应该同时满足两个条件,第一对应名称空间上有name=def或者name=dev的标签;其次pod本身要有两个标签,app=nginx和rel=stable;这两个条件缺一不可;

   删除原有netpol,应用新的清单

[root@master01 ~]# kubectl get netpol -n dev
NAME               POD-SELECTOR   AGE
allow-dev-egress   <none>         28m
[root@master01 ~]# kubectl delete netpol allow-dev-egress -n dev
networkpolicy.networking.k8s.io "allow-dev-egress" deleted
[root@master01 ~]# kubectl apply -f allow-dev-def-egress.yaml 
networkpolicy.networking.k8s.io/allow-dev-egress created
[root@master01 ~]# kubectl get netpol -n dev                    
NAME               POD-SELECTOR   AGE
allow-dev-egress   <none>         5s
[root@master01 ~]# kubectl describe netpol allow-dev-egress -n dev
Name:         allow-dev-egress
Namespace:    dev
Created on:   2021-01-04 19:44:32 +0800 CST
Labels:       <none>
Annotations:  <none>
Spec:
  PodSelector:     <none> (Allowing the specific traffic to all pods in this namespace)
  Not affecting ingress traffic
  Allowing egress traffic:
    To Port: 80/TCP
    To:
      NamespaceSelector: name in (def,dev)
      PodSelector: app=nginx,rel=stable
  Policy Types: Egress
[root@master01 ~]# 

  提示:可以看到对应的出站规则就有两个条件,首先称空间必须匹配,name=def或者name=dev,即对应名称空间必须要这样的标签;其次pod必须满足有app=nginx,rel=stable的标签;

  给default名称空间打上name=def的标签

[root@master01 ~]# kubectl get ns --show-labels
NAME                   STATUS   AGE     LABELS
default                Active   27d     <none>
dev                    Active   4h24m   name=dev
ingress-nginx          Active   13d     app.kubernetes.io/name=ingress-nginx,app.kubernetes.io/part-of=ingress-nginx
kube-node-lease        Active   27d     <none>
kube-public            Active   27d     <none>
kube-system            Active   27d     <none>
kubernetes-dashboard   Active   2d5h    <none>
prod                   Active   57m     name=prod
[root@master01 ~]# kubectl label ns default name=def
namespace/default labeled
[root@master01 ~]# kubectl get ns --show-labels     
NAME                   STATUS   AGE     LABELS
default                Active   27d     name=def
dev                    Active   4h24m   name=dev
ingress-nginx          Active   13d     app.kubernetes.io/name=ingress-nginx,app.kubernetes.io/part-of=ingress-nginx
kube-node-lease        Active   27d     <none>
kube-public            Active   27d     <none>
kube-system            Active   27d     <none>
kubernetes-dashboard   Active   2d5h    <none>
prod                   Active   58m     name=prod
[root@master01 ~]# 

  验证:用dev下的pod访问default和dev名称空间下pod标签为app=nginx,rel=stable的pod,看看对应pod是否能够被访问到?

[root@master01 ~]# kubectl get pods -n dev -o wide --show-labels
NAME                        READY   STATUS    RESTARTS   AGE    IP            NODE             NOMINATED NODE   READINESS GATES   LABELS
nginx-dep-cb74c595f-27qjp   1/1     Running   2          116m   10.244.1.18   node01.k8s.org   <none>           <none>            app=nginx,rel=stable
nginx-dep-cb74c595f-b92s4   1/1     Running   1          116m   10.244.4.17   node04.k8s.org   <none>           <none>            app=nginx,rel=stable
nginx-dep-cb74c595f-wdqnh   1/1     Running   1          116m   10.244.1.19   node01.k8s.org   <none>           <none>            app=nginx,rel=stable
[root@master01 ~]# kubectl get pods  -o wide --show-labels      
NAME                        READY   STATUS    RESTARTS   AGE     IP            NODE             NOMINATED NODE   READINESS GATES   LABELS
nginx-dep-cb74c595f-5mwl2   1/1     Running   1          117m    10.244.4.18   node04.k8s.org   <none>           <none>            app=nginx,rel=stable
nginx-dep-cb74c595f-vxc9z   1/1     Running   1          117m    10.244.3.12   node03.k8s.org   <none>           <none>            app=nginx,rel=stable
nginx-dep-cb74c595f-z265t   1/1     Running   1          117m    10.244.2.13   node02.k8s.org   <none>           <none>            app=nginx,rel=stable
web-0                       1/1     Running   8          3d21h   10.244.2.14   node02.k8s.org   <none>           <none>            app=nginx,statefulset.kubernetes.io/pod-name=web-0
web-1                       1/1     Running   7          3d21h   10.244.4.16   node04.k8s.org   <none>           <none>            app=nginx,statefulset.kubernetes.io/pod-name=web-1
web-2                       1/1     Running   8          3d21h   10.244.3.11   node03.k8s.org   <none>           <none>            app=nginx,statefulset.kubernetes.io/pod-name=web-2
[root@master01 ~]# kubectl exec -it -n dev nginx-dep-cb74c595f-27qjp -- /bin/sh
/ # wget --spider --timeout=1 10.244.4.17
Connecting to 10.244.4.17 (10.244.4.17:80)
/ # wget --spider --timeout=1 10.244.1.19 
Connecting to 10.244.1.19 (10.244.1.19:80)
/ # wget --spider --timeout=1 10.244.4.18
Connecting to 10.244.4.18 (10.244.4.18:80)
/ # wget --spider --timeout=1 10.244.3.12
Connecting to 10.244.3.12 (10.244.3.12:80)
/ # wget --spider --timeout=1 10.244.2.13
Connecting to 10.244.2.13 (10.244.2.13:80)
/ # wget --spider --timeout=1 10.244.2.14
Connecting to 10.244.2.14 (10.244.2.14:80)
wget: download timed out
/ # 

  提示:可以看到用dev名称空间的pod访问名称空间上有name=def或name=dev标签并且对应pod上有app=nginx和rel=stable的标签的pod是能够正常访问到,如果不能满足对应名称空间和pod标签的pod就不能被访问;上面示例中最后一个podip不满足pod的标签,所以访问不到对应pod;

  示例:允许dev名称空间下的pod访问名称空间上有name=def或name=dev标签的名称空间下的pod或者名称空间上有name=prod标签,并且对应名称空间下的pod必须有app=nginx,rel=stable的标签;

[root@master01 ~]# cat allow-dev-def-egress.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-dev-egress
  namespace: dev
spec:
  podSelector: {} 
  egress:
    - to:
      - namespaceSelector:
          matchExpressions:
          - key: name
            operator: In
            values: ["def","dev"]
    - to:
      - namespaceSelector:
          matchLables:
            name: prod
        podSelector:
          matchLabels:
            app: nginx
            rel: stable
      ports:
      - port: 80
        protocol: TCP 
  policyTypes:
  - Egress
[root@master01 ~]# 

  应用配置清单

[root@master01 ~]# kubectl apply -f allow-dev-def-egress.yaml
networkpolicy.networking.k8s.io/allow-dev-egress created
[root@master01 ~]# kubectl get netpol -n dev
NAME               POD-SELECTOR   AGE
allow-dev-egress   <none>         10s
[root@master01 ~]# kubectl describe netpol allow-dev-egress -n dev
Name:         allow-dev-egress
Namespace:    dev
Created on:   2021-01-04 20:44:42 +0800 CST
Labels:       <none>
Annotations:  <none>
Spec:
  PodSelector:     <none> (Allowing the specific traffic to all pods in this namespace)
  Not affecting ingress traffic
  Allowing egress traffic:
    To Port: <any> (traffic allowed to all ports)
    To:
      NamespaceSelector: name in (def,dev)
    ----------
    To Port: 80/TCP
    To:
      NamespaceSelector: name=prod
      PodSelector: app=nginx,rel=stable
  Policy Types: Egress
[root@master01 ~]# 

  验证:用dev名称空间下的pod访问dev名称空间下的pod,看看是否可以正常访问?

[root@master01 ~]# kubectl get pods -n dev -o wide 
NAME                        READY   STATUS    RESTARTS   AGE    IP            NODE             NOMINATED NODE   READINESS GATES
nginx-dep-cb74c595f-27qjp   1/1     Running   2          168m   10.244.1.18   node01.k8s.org   <none>           <none>
nginx-dep-cb74c595f-b92s4   1/1     Running   1          168m   10.244.4.17   node04.k8s.org   <none>           <none>
nginx-dep-cb74c595f-wdqnh   1/1     Running   1          168m   10.244.1.19   node01.k8s.org   <none>           <none>
[root@master01 ~]# kubectl exec -it -n dev nginx-dep-cb74c595f-27qjp -- /bin/sh
/ # wget --spider --timeout=1 10.244.4.17
Connecting to 10.244.4.17 (10.244.4.17:80)
/ # wget --spider --timeout=1 10.244.1.19
Connecting to 10.244.1.19 (10.244.1.19:80)
/ # exit
[root@master01 ~]# 

  提示:可以看到dev名称空间下的pod相互访问没有问题;

  验证:用dev名称空间下的pod访问default名称空间下的pod ,看看是否可以正常访问?

[root@master01 ~]# kubectl get pods -n dev -o wide
NAME                        READY   STATUS    RESTARTS   AGE    IP            NODE             NOMINATED NODE   READINESS GATES
nginx-dep-cb74c595f-27qjp   1/1     Running   2          170m   10.244.1.18   node01.k8s.org   <none>           <none>
nginx-dep-cb74c595f-b92s4   1/1     Running   1          170m   10.244.4.17   node04.k8s.org   <none>           <none>
nginx-dep-cb74c595f-wdqnh   1/1     Running   1          170m   10.244.1.19   node01.k8s.org   <none>           <none>
[root@master01 ~]# kubectl get pods -o wide
NAME                        READY   STATUS    RESTARTS   AGE     IP            NODE             NOMINATED NODE   READINESS GATES
nginx-dep-cb74c595f-5mwl2   1/1     Running   1          171m    10.244.4.18   node04.k8s.org   <none>           <none>
nginx-dep-cb74c595f-vxc9z   1/1     Running   1          171m    10.244.3.12   node03.k8s.org   <none>           <none>
nginx-dep-cb74c595f-z265t   1/1     Running   1          171m    10.244.2.13   node02.k8s.org   <none>           <none>
web-0                       1/1     Running   8          3d22h   10.244.2.14   node02.k8s.org   <none>           <none>
web-1                       1/1     Running   7          3d22h   10.244.4.16   node04.k8s.org   <none>           <none>
web-2                       1/1     Running   8          3d22h   10.244.3.11   node03.k8s.org   <none>           <none>
[root@master01 ~]# kubectl exec -it -n dev nginx-dep-cb74c595f-27qjp -- /bin/sh
/ # wget --spider --timeout=1 10.244.4.18
Connecting to 10.244.4.18 (10.244.4.18:80)
/ # wget --spider --timeout=1 10.244.3.12
Connecting to 10.244.3.12 (10.244.3.12:80)
/ # wget --spider --timeout=1 10.244.2.13
Connecting to 10.244.2.13 (10.244.2.13:80)
/ # wget --spider --timeout=1 10.244.2.14
Connecting to 10.244.2.14 (10.244.2.14:80)
/ # wget --spider --timeout=1 10.244.4.16
Connecting to 10.244.4.16 (10.244.4.16:80)
wget: server returned error: HTTP/1.1 403 Forbidden
/ # wget --spider --timeout=1 10.244.3.11
Connecting to 10.244.3.11 (10.244.3.11:80)
wget: server returned error: HTTP/1.1 403 Forbidden
/ # 

  提示:可以看到default名称空间下的所有pod都能够被dev名称空间下的pod所访问;后面显示403是因为对应web服务没有主页;

  验证:使用dev名称空间下的pod访问prod名称空间下的pod,看看对应pod是否能够被访问?

[root@master01 ~]# kubectl get ns prod --show-labels
NAME   STATUS   AGE    LABELS
prod   Active   118m   name=prod
[root@master01 ~]# kubectl get pods -n prod -o wide --show-labels
NAME                         READY   STATUS    RESTARTS   AGE    IP            NODE             NOMINATED NODE   READINESS GATES   LABELS
nginx-dep-cb74c595f-rzbv2    1/1     Running   0          118m   10.244.4.19   node04.k8s.org   <none>           <none>            app=nginx,rel=stable
nginx-dep-cb74c595f-v8ssx    1/1     Running   0          118m   10.244.3.13   node03.k8s.org   <none>           <none>            app=nginx,rel=stable
nginx-dep-cb74c595f-zsqcc    1/1     Running   0          118m   10.244.2.15   node02.k8s.org   <none>           <none>            app=nginx,rel=stable
nginx-dep1-f85fdcdbc-kdq5b   1/1     Running   0          117m   10.244.1.21   node01.k8s.org   <none>           <none>            app=nginx,pod-template-hash=f85fdcdbc
nginx-dep1-f85fdcdbc-n8cvs   1/1     Running   0          117m   10.244.3.14   node03.k8s.org   <none>           <none>            app=nginx,pod-template-hash=f85fdcdbc
nginx-dep1-f85fdcdbc-vz2mp   1/1     Running   0          117m   10.244.4.20   node04.k8s.org   <none>           <none>            app=nginx,pod-template-hash=f85fdcdbc
[root@master01 ~]# kubectl get pods -n dev
NAME                        READY   STATUS    RESTARTS   AGE
nginx-dep-cb74c595f-27qjp   1/1     Running   2          174m
nginx-dep-cb74c595f-b92s4   1/1     Running   1          174m
nginx-dep-cb74c595f-wdqnh   1/1     Running   1          174m
[root@master01 ~]# kubectl exec -it -n dev nginx-dep-cb74c595f-27qjp -- /bin/sh
/ # wget --spider --timeout=1 10.244.4.20 
Connecting to 10.244.4.20 (10.244.4.20:80)
wget: download timed out
/ # wget --spider --timeout=1 10.244.3.14 
Connecting to 10.244.3.14 (10.244.3.14:80)
wget: download timed out
/ # wget --spider --timeout=1 10.244.1.21
Connecting to 10.244.1.21 (10.244.1.21:80)
wget: download timed out
/ # wget --spider --timeout=1 10.244.2.15
Connecting to 10.244.2.15 (10.244.2.15:80)
/ # wget --spider --timeout=1 10.244.3.13
Connecting to 10.244.3.13 (10.244.3.13:80)
/ # wget --spider --timeout=1 10.244.4.19
Connecting to 10.244.4.19 (10.244.4.19:80)
/ # 

  提示:可以看到在prod名称空间下对应pod标签为app=nginx,rel=stable的pod都能够被dev下的pod所访问,如果对应标签不是app=nginx,rel=stable的pod则不能被访问到;

  从上面的示例可以总结,在k8s上网络策略是白名单机制,所谓白名单机制是指,只有明确定义的策略才会被允许放行,默认没有指定的规则就是拒绝的,即条件不匹配的都会被拒绝;其次对于ingress或egress来说,对应的from或to都是用来指定访问端或被访问端的信息;如果我们在对应的字段中没有定义namespaceSelector字段,默认ingress或egrss会匹配当前netpol所在名称空间,即在没有明确指定namespaceSelector字段时,对应的其他条件都是针对当前netpol所在名称空间;多个条件组合使用,如果多个条件都在一个列表中,则表示多个条件间是与关系,即指定的条件需要同时满足对应策略才会放行;如果多个条件不再同一个列表中,则多个条件之间是或关系,即满足其中一个条件都会被对应策略放行;

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读942次。kube-controller-manager 和 kubelet 是异步工作的,这意味着延迟可能包括任何的网络延迟、apiserver 的延迟、etcd 延迟,一个节点上的负载引起的延迟等等。当 Kubernetes 中 Node 节点出现状态异常的情况下,节点上的 Pod 会被重新调度到其他节点上去,但是有的时候我们会发现节点 Down 掉以后,Pod 并不会立即触发重新调度,这实际上就是和 Kubelet 的状态更新机制密切相关的,Kubernetes 提供了一些参数配置来触发重新调度的时间。_node-monitor-period
文章浏览阅读3.8k次。上篇文章详细介绍了弹性云混部的落地历程,弹性云是滴滴内部提供给网约车等核心服务的容器平台,其基于 k8s 实现了对海量 node 的管理和 pod 的调度。本文重点介绍弹性云的调度能力,分为以下部分:调度链路图:介绍当前弹性云调度体系链路,对架构体系有一个初步的认知k8s 调度能力的运用:整体介绍弹性云现在用到的 k8s 调度能力和对其的增强k8s 版本的升级:介绍到从 k8s 1.12 到 1...._滴滴机房 腾讯
文章浏览阅读897次。对于cpu来说,这种分配方式并不会有太大问题,因为cpu可以灵活调度,numa调度时我们只计算绑定了numa cpu的pod是可以接受的,但是对于内存来说,numa node上申请了的内存无法做到随时迁移,这就会导致调度器视角numa node的mem资源足够,但是等到pod真正使用时,由于没有绑定numa node的pod申请的内存,导致numa node的mem资源不足,造成swap中断或者远端内存申请,这会对绑定mem的pod来带来性能损耗。忽略了没有绑定numa node的pod资源。_kubectl numa
文章浏览阅读796次,点赞17次,收藏15次。只要在Service定义中设置了ClusterIp:None,就定义了一个HeadLess Service, 它与普通的Service关键区别在于它没有ClusterIp地址,如果解析HeadLess Service的DNS域名,则会返回该Service对应的全部Pod的EndPoint列表,这就意味着客户端是直接与后端的pod建立了TCP/IP链接进行通信的。一个Label是一个键值对。注解:属于资源对象的元数据,可以被理解为一种特殊的标签,不过更多的是与程序挂钩,通常用于实现资源对象属性的自定义扩展。
文章浏览阅读763次。但是此时如果配置成 NONE, 租户创建成功了,但是无法创建资源文件,也就是无法上传文件,可能 dolphinscheduler 团队就想着将文件上传到 hdfs,暂不支持本地。需要将 resource.storage.type 置为 NONE, 因为我之前用的 1.3.6 版本的时候,即使资源文件存在本地文件也需要配置成 hdfs。_[error] 2023-10-24 18:10:43.762 +0800 org.apache.dolphinscheduler.api.servic
文章浏览阅读2.7k次,点赞2次,收藏13次。公司使用的是交老的k8s版本(1.16),由于老版本的K8s对于现在很多新特性不支持,所以需要升级到新版本。目前2023年7月11日最新版本的k8s是v1.27.3。通过参考官方文档进行k8s部署工作。其中涉及到操作系统配置、防火墙配置、私有镜像仓库等。_k8s最新版本
文章浏览阅读1.8w次,点赞14次,收藏27次。能节省你在kubeadm init 时遇到问题的排错时间⌚️。整合了网上大佬
文章浏览阅读1.1k次,点赞2次,收藏7次。具体操作步骤可以参考之前的教程,建议是先安装一台,然后克隆虚拟机,这样速度快。注意:在克隆时记得修改Mac地址、IP地址、UUID和主机名。(最后别忘了保存下快照~)_部署k8s集群
文章浏览阅读863次,点赞23次,收藏16次。当部署完 Kubernetes,便拥有了一个完整的集群。一组工作机器,称为节点, 会运行容器化应用程序。每个集群至少有一个工作节点。工作节点会 托管Pod ,而 Pod 就是作为应用负载的组件。控制平面管理集群中的工作节点和Pod。说人话版本:集群:cluster,多个几点被组织到一起共同为系统提供服务过程称之为集群。本质上是将承载同一个软件服务节点组织到一起,称之为该软件(服务)的集群,当然集群中的节点身份地位是不一样的。k8s集群也是如此,他也是多个节点组成。
文章浏览阅读943次。Rancher是一个开源的企业级多集群Kubernetes管理平台,实现了Kubernetes集群在混合云+本地数据中心的集中部署与管理,以确保集群的安全性,加速企业数字化转型。Rancher 1.0版本在2016年就已发布,时至今日,Rancher已经成长为企业在生产环境中运行容器和Kubernetes的首要选择。_rancher管理k8s
文章浏览阅读742次,点赞2次,收藏3次。本篇来讲解如何在centos下安装部署高可用k8s集群。_kubeadm ha keepalived + nginx
文章浏览阅读1.9k次,点赞21次,收藏25次。那么这个空间设置成内存的2倍大小。点击IPv4设置--手动--添加--设置ip--设置DNS服务器,最后点击--“保存”;首先选中--“本地标准磁盘”,存储配置--自定义分区,点击--“完成”;在--主机名--设置主机名:(例如k8s-master01),点击--点击+,设置--挂载点/boot--期望容量,点击--添加挂载点;点击--+--挂载点swap--期望容量,点击--“添加挂载点”;默认选择--亚洲--上海,并调整日期和时间,点击--“完成”;设备类型--确认--LVM,卷组--选择“修改”;_euler 服务器搭建
文章浏览阅读1k次。在1.25版本的k8s集群中部署gpu-manage时,虽然显示gpu节点上gpu-manage的pod实例都是running状态,但是给pod申领。既可以用源码的Makefile自动编译打包成新的镜像,但是源码的。说明gpu-manager和容器运行时接口通信失败了。编译后的镜像在1.25版本的k8s中可以正常使用。,但是在k8s1.23版本之后,接口路径已经改为。资源时,却始终找不到有资源的节点。,另外有一些依赖需要国际上的支持。可以看到这里用的运行时接口是。查看节点的详情时,返回的。_launch gpu manager 报错 can't create container runtime manager: context dead
文章浏览阅读1k次,点赞18次,收藏16次。SelfLink:API的资源对象之一,表示资源对象在集群当中自身的一个连结,self-Link是一个唯一的标识号,可以用于标识k8s集群当中的每个资源的对象。容器里使用的配置,在provisioner当中定义好环境变量,传给容器,storageclass的名称,NFS服务器的地址,NFS的目录。NFS的provisionner的客户端以pod的方式运行在集群当中,监听k8s集群当中PV的请求,然后动态的创建于NFS相关的PV。命名为 nfs-client-provisioner-clusterrole。
文章浏览阅读6.3k次,点赞2次,收藏20次。k8s证书过期解决方案之替换证书_k8s证书过期如何更换
文章浏览阅读1k次。KMS,Key Management Service,即密钥管理服务,在K8S集群中,以驱动和插件的形式启用对Secret,Configmap进行加密。以保护敏感数据
文章浏览阅读888次。exporter对于云服务的监控还是很不完美,毕竟每家都有自己的护城河。自动发现多实例这样的借助consul 阿波罗这样的会简单一些。aws可以借助cloudwatch这样的导入模板到grafana中。还是希望能将类似腾讯云云监控中的这些指标采集到prometheus中,但是这过程应该还很遥远grafana出图 prometheus查询语法这些东西有时间的好好研究一下。报警有必要进行分级别,收敛配置一下!_command: - "-redis.password-file=/redis_passwd.json
文章浏览阅读1k次。可以在此处(https://cloud.google.com/kubernetes-engine/docs/how-to/kube-dns)和此处(https://www.digitalocean.com/community/tutorials/an-introduction-to-the-kubernetes-dns-service)找到更多的详细信息。-or-ipvs/)和此处(https://arthurchiao.art/blog/cracking-k8s-node-proxy/)。_k8s默认命名空间
文章浏览阅读4.9k次,点赞11次,收藏32次。如果运行runc命令时提示:runc: error while loading shared libraries: libseccomp.so.2: cannot open shared object file: No such file or directory,则表明runc没有找到libseccomp,需要检查libseccomp是否安装,本次安装默认就可以查询到。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。所有主机均需要操作。_kubernetes 1.28
文章浏览阅读3.6w次,点赞118次,收藏144次。Canal 提供了网络功能,使得 Kubernetes 集群中的 Pod 可以相互通信,并与集群外部的服务进行通信。它通过网络插件的方式,为每个 Pod 分配唯一的 IP 地址,并管理网络流量的路由和转发。此外,Canal 还支持网络策略,用于定义 Pod 之间的通信规则和安全策略。Canal 基于 Calico 和 Flannel 项目,结合了二者的优点。它使用 Calico 的数据平面,提供高性能的网络转发和安全特性,同时使用 Flannel 的控制平面,实现 IP 地址管理和网络策略的配置。_k8s canal