TKE集群中nginx-ingress使用实践

分类：Nginx作者：聂伟星

现在k8s上服务暴露方式用的最多就是nginx-ingress，今天我们来讲讲nginx-ingress的具体使用，我们在tke上实践下，如何部署使用nginx-ingress，以及nginx的一些注解功能的使用。

今天我们主要是在腾讯云上的tke上进行实践测试，不过测试的功能也是支持在其他类型的k8s上使用，只要部署了nignx-ingress就行。现在tke上为了方便用户能够快速使用nginx-ingress推了了通过组件的方式的来部署，具体部署方式可以参考文档https://cloud.tencent.com/document/product/457/50503，如果在集群上找不到这个组件，可以提交工单进行开通，如果想自己搭建nginx-ingress可以参考https://cloud.tencent.com/document/product/457/47293进行部署。今天我们不说具体的部署，主要讲讲nginx-ingress一些常用的功能如何进行配置使用。

1. https的配置

有的时候我们需要给域名配置ssl证书来进行https的安全访问，首先你需要给域名申请证书，可以到现在的公有云上为域名申请免费的证书，申请后将证书通过secret挂载到k8s集群中

kubectl create secret tls example-ssl --key 2_example.tke.niewx.cn.key --cert 1_example.tke.niewx.cn_bundle.crt

然后再在ingress中配置下，这里我们配置下tls这个字段

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    ingress.cloud.tencent.com/direct-access: "false"
    kubernetes.io/ingress.class: nwx-ingress
    kubernetes.io/ingress.extensiveParameters: '{"AddressIPVersion":"IPV4"}'
    kubernetes.io/ingress.http-rules: "null"
    kubernetes.io/ingress.https-rules: '[{"host":"example.tke.niewx.cn","path":"/","backend":{"serviceName":"springboot","servicePort":"8080"}}]'
    kubernetes.io/ingress.rule-mix: "true"
    nginx.ingress.kubernetes.io/use-regex: "true"
  name: example-ingress
  namespace: test
spec:
  rules:
  - host: example.tke.niewx.cn
    http:
      paths:
      - backend:
          serviceName: springboot
          servicePort: 8080
        path: /
  tls:
  - hosts:
    - example.tke.niewx.cn
    secretName: example-ssl
status:
  loadBalancer:
    ingress:
    - ip: 81.71.131.235

这样浏览器输入example.tke.niewx.cn会通过https访问。

2. 域名登录认证

有时候我们的服务没有提供登录认证，但是有不希望将服务提供给所有的人都能访问，那么可以通过ingress上的认证控制访问。今天我们讲讲常用的2种认证方式。

2.1 基本身份认证

[root@VM-0-13-centos nginx-ingress]# htpasswd -c auth admin
New password: 
Re-type new password: 
Adding password for user admin
[root@VM-0-13-centos nginx-ingress]# kubectl create secret generic basic-auth --from-file=auth -n test
secret/basic-auth created

接下来我们在ingress中配置下这个secret，这里我们配置账号密码是admin/admin

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    ingress.cloud.tencent.com/direct-access: "false"
    kubernetes.io/ingress.class: nwx-ingress
    kubernetes.io/ingress.extensiveParameters: '{"AddressIPVersion":"IPV4"}'
    kubernetes.io/ingress.http-rules: "null"
    kubernetes.io/ingress.https-rules: '[{"host":"example.tke.niewx.cn","path":"/","backend":{"serviceName":"springboot","servicePort":"8080"}}]'
    kubernetes.io/ingress.rule-mix: "true"
    nginx.ingress.kubernetes.io/auth-realm: Authentication Required - admin
    nginx.ingress.kubernetes.io/auth-secret: basic-auth
    nginx.ingress.kubernetes.io/auth-type: basic
    nginx.ingress.kubernetes.io/use-regex: "true"
  name: example-ingress
  namespace: test
spec:
  rules:
  - host: example.tke.niewx.cn
    http:
      paths:
      - backend:
          serviceName: springboot
          servicePort: 8080
        path: /
  tls:
  - hosts:
    - example.tke.niewx.cn
    secretName: example-ssl
status:
  loadBalancer:
    ingress:
    - ip: 81.71.131.235


nginx.ingress.kubernetes.io/auth-realm: Authentication Required - admin
nginx.ingress.kubernetes.io/auth-secret: basic-auth
nginx.ingress.kubernetes.io/auth-type: basic

我们在ingress中加入这3条注解，再登录就会需要输入账号密码了。

2.2 外部身份验证

有时候我们有自己的鉴权中心，也是可以使用外部身份进行认证的，这里我们采用https://httpbin.org/basic-auth/user/passwd这个作为外部身份，这个默认账号和密码user/passwd

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    ingress.cloud.tencent.com/direct-access: "false"
    kubernetes.io/ingress.class: nwx-ingress
    kubernetes.io/ingress.extensiveParameters: '{"AddressIPVersion":"IPV4"}'
    kubernetes.io/ingress.http-rules: "null"
    kubernetes.io/ingress.https-rules: '[{"host":"example.tke.niewx.cn","path":"/","backend":{"serviceName":"springboot","servicePort":"8080"}}]'
    kubernetes.io/ingress.rule-mix: "true"
    nginx.ingress.kubernetes.io/auth-url: https://httpbin.org/basic-auth/user/passwd
    nginx.ingress.kubernetes.io/use-regex: "true"

这里我们只需要配置下面这个注解就会用外部身份认证

nginx.ingress.kubernetes.io/auth-url: https://httpbin.org/basic-auth/user/passwd

这里我们通过curl的方式验证下

[root@VM-0-3-centos ~]# curl -k https://example.tke.niewx.cn/ -v -H 'Host: example.tke.niewx.cn'
* About to connect() to example.tke.niewx.cn port 443 (#0)
*   Trying 81.71.131.235...
* Connected to example.tke.niewx.cn (81.71.131.235) port 443 (#0)
* Initializing NSS with certpath: sql:/etc/pki/nssdb
* skipping SSL peer certificate verification
* SSL connection using TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256
* Server certificate:
* 	subject: CN=Kubernetes Ingress Controller Fake Certificate,O=Acme Co
* 	start date: Dec 28 06:14:11 2020 GMT
* 	expire date: Dec 28 06:14:11 2021 GMT
* 	common name: Kubernetes Ingress Controller Fake Certificate
* 	issuer: CN=Kubernetes Ingress Controller Fake Certificate,O=Acme Co
> GET / HTTP/1.1
> User-Agent: curl/7.29.0
> Accept: */*
> Host: example.tke.niewx.cn
> 
< HTTP/1.1 401 Unauthorized
< Date: Wed, 30 Dec 2020 11:36:43 GMT
< Content-Type: text/html
< Content-Length: 172
< Connection: keep-alive
< WWW-Authenticate: Basic realm="Fake Realm"
< Strict-Transport-Security: max-age=15724800; includeSubDomains
< 
<html>
<head><title>401 Authorization Required</title></head>
<body>
<center><h1>401 Authorization Required</h1></center>
<hr><center>nginx</center>
</body>
</html>
* Connection #0 to host example.tke.niewx.cn left intact
[root@VM-0-3-centos ~]# curl -k https://example.tke.niewx.cn/ -v -H 'Host: example.tke.niewx.cn' -u 'user:passwd'
* About to connect() to example.tke.niewx.cn port 443 (#0)
*   Trying 81.71.131.235...
* Connected to example.tke.niewx.cn (81.71.131.235) port 443 (#0)
* Initializing NSS with certpath: sql:/etc/pki/nssdb
* skipping SSL peer certificate verification
* SSL connection using TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256
* Server certificate:
* 	subject: CN=Kubernetes Ingress Controller Fake Certificate,O=Acme Co
* 	start date: Dec 28 06:14:11 2020 GMT
* 	expire date: Dec 28 06:14:11 2021 GMT
* 	common name: Kubernetes Ingress Controller Fake Certificate
* 	issuer: CN=Kubernetes Ingress Controller Fake Certificate,O=Acme Co
* Server auth using Basic with user 'user'
> GET / HTTP/1.1
> Authorization: Basic dXNlcjpwYXNzd2Q=
> User-Agent: curl/7.29.0
> Accept: */*
> Host: example.tke.niewx.cn
> 
< HTTP/1.1 200 
< Date: Wed, 30 Dec 2020 11:37:14 GMT
< Content-Type: text/plain;charset=UTF-8
< Content-Length: 23
< Connection: keep-alive
< Strict-Transport-Security: max-age=15724800; includeSubDomains
< 
* Connection #0 to host example.tke.niewx.cn left intact
you access path is root[root@VM-0-3-centos ~]# curl -k https://example.tke.niewx.cn/ -v -H 'Host: example.tke.niewx.cn' -u 'user:user'
* About to connect() to example.tke.niewx.cn port 443 (#0)
*   Trying 81.71.131.235...
* Connected to example.tke.niewx.cn (81.71.131.235) port 443 (#0)
* Initializing NSS with certpath: sql:/etc/pki/nssdb
* skipping SSL peer certificate verification
* SSL connection using TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256
* Server certificate:
* 	subject: CN=Kubernetes Ingress Controller Fake Certificate,O=Acme Co
* 	start date: Dec 28 06:10:15 2020 GMT
* 	expire date: Dec 28 06:10:15 2021 GMT
* 	common name: Kubernetes Ingress Controller Fake Certificate
* 	issuer: CN=Kubernetes Ingress Controller Fake Certificate,O=Acme Co
* Server auth using Basic with user 'user'
> GET / HTTP/1.1
> Authorization: Basic dXNlcjp1c2Vy
> User-Agent: curl/7.29.0
> Accept: */*
> Host: example.tke.niewx.cn
> 
< HTTP/1.1 401 Unauthorized
< Date: Wed, 30 Dec 2020 11:37:20 GMT
< Content-Type: text/html
< Content-Length: 172
< Connection: keep-alive
* Authentication problem. Ignoring this.
< WWW-Authenticate: Basic realm="Fake Realm"
< Strict-Transport-Security: max-age=15724800; includeSubDomains
< 
<html>
<head><title>401 Authorization Required</title></head>
<body>
<center><h1>401 Authorization Required</h1></center>
<hr><center>nginx</center>
</body>
</html>
* Connection #0 to host example.tke.niewx.cn left intact

我们分别通过不带用户名密码、正确的用户名密码、和不到用户名密码进行测试，最终只有正确输入用户名和密码才返回200。

3. rewrite

有时候我们需要创建ingress对象来为Controller制定转发规则

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    ingress.cloud.tencent.com/direct-access: "false"
    kubernetes.io/ingress.class: ingress
    nginx.ingress.kubernetes.io/use-regex: "true"
  name: ingress-v3
  namespace: test
spec:
  rules:
  - host: example.tke.niewx.cn
    http:
      paths:
      - backend:
          serviceName: springboot
          servicePort: 8080
        path: /api
  tls:
  - hosts:
    - example.tke.niewx.cn
    secretName: example-ssl

表示会将https://example.tke.niewx.cn/api/URL转发到集群中的https://example.tke.niewx.cn/api/URL上，也就是说最后一行的path: /api也会当作请求的一部分，追加到url中。

但是，如果nginx实际的请求地址为https://svc-springboot/api/URL，则会报404，找不到服务。

有的时候我们需要将前端用户访问的路径指向后端真实的路径，这里我们就需要用到ingress的rewite来实现了

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    ingress.cloud.tencent.com/direct-access: "false"
    kubernetes.io/ingress.class: ingress
    nginx.ingress.kubernetes.io/rewrite-target: /$2
    nginx.ingress.kubernetes.io/use-regex: "true"
  name: example-ingress
  namespace: test
spec:
  rules:
  - host: example.tke.niewx.cn
    http:
      paths:
      - backend:
          serviceName: springboot
          servicePort: 8080
        path: /api(/|$)(.*)
  tls:
  - hosts:
    - example.tke.niewx.cn
    secretName: example-ssl

这里我们会进行如下重定向

  • example.tke.niewx.cn/api 重写到 example.tke.niewx.cn/
  • example.tke.niewx.cn/api/ 重写到 example.tke.niewx.cn/
  • example.tke.niewx.cn/api/v1 重写到 example.tke.niewx.cn/v1

正常我们会打印出是访问的实际路径，由于被重写，导致本应打印的应该是/api/v1，现在打印的是v1，说明真实访问的后端是example.tke.niewx.cn/v1

我们也可以将域名的根目录重写到某一个后端的路径下，这样访问根目录下就会重写到后的真实路径，我们测试下将根路径重写到/api/v2下面

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    ingress.cloud.tencent.com/direct-access: "false"
    kubernetes.io/ingress.class: nwx-ingress
    kubernetes.io/ingress.extensiveParameters: '{"AddressIPVersion":"IPV4"}'
    kubernetes.io/ingress.http-rules: "null"
    kubernetes.io/ingress.https-rules: '[{"host":"example.tke.niewx.cn","path":"/","backend":{"serviceName":"springboot","servicePort":"8080"}}]'
    kubernetes.io/ingress.rule-mix: "true"
    nginx.ingress.kubernetes.io/app-root: /api/v2
    nginx.ingress.kubernetes.io/auth-url: https://httpbin.org/basic-auth/user/passwd
    nginx.ingress.kubernetes.io/use-regex: "true"
  name: example-ingress
  namespace: test
spec:
  rules:
  - host: example.tke.niewx.cn
    http:
      paths:
      - backend:
          serviceName: springboot
          servicePort: 8080
        path: /
  tls:
  - hosts:
    - example.tke.niewx.cn
    secretName: example-ssl
status:
  loadBalancer:
    ingress:
    - ip: 81.71.131.235

这里我们测试发现访问根目录会跳转到/api/v2下，浏览器输入也会强制跳转到/api/v2下

[root@VM-0-3-centos ~]# curl -I -k https://example.tke.niewx.cn
HTTP/1.1 302 Moved Temporarily
Date: Wed, 30 Dec 2020 12:24:30 GMT
Content-Type: text/html
Content-Length: 138
Connection: keep-alive
Location: https://example.tke.niewx.cn/api/v2

rewrite功能可以让我们进行丰富的访问路径配置，这样方便了我们可以通过不同的路径去访问不通的后端。

4. 访问白名单

有时候我们需要给域名配置下访问白名单，我只希望部分ip可以访问我的服务，这时候需要用到ingress的whitelist-source-range，我们可以通过这个注解来配置我们希望放通访问的ip。下面我们只放通10.0.0.0/24可以访问

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    ingress.cloud.tencent.com/direct-access: "false"
    kubernetes.io/ingress.class: nwx-ingress
    kubernetes.io/ingress.extensiveParameters: '{"AddressIPVersion":"IPV4"}'
    kubernetes.io/ingress.http-rules: "null"
    kubernetes.io/ingress.https-rules: '[{"host":"example.tke.niewx.cn","path":"/","backend":{"serviceName":"springboot","servicePort":"8080"}}]'
    kubernetes.io/ingress.rule-mix: "true"
    nginx.ingress.kubernetes.io/use-regex: "true"
    nginx.ingress.kubernetes.io/whitelist-source-range: 10.0.0.0/24

我们测试下看看，我们在10.0.0.3和10.0.5.33分别访问下域名看看

[root@VM-5-33-tlinux ~]# curl -I -k https://example.tke.niewx.cn
HTTP/1.1 403 Forbidden
Date: Wed, 30 Dec 2020 12:39:35 GMT
Content-Type: text/html
Content-Length: 146
Connection: keep-alive
Strict-Transport-Security: max-age=15724800; includeSubDomains

[root@VM-5-33-tlinux ~]# ip addr | grep eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    inet 10.0.5.33/24 brd 10.0.5.255 scope global eth0
[root@VM-0-3-centos ~]# curl -I -k https://example.tke.niewx.cn
HTTP/1.1 200 
Date: Wed, 30 Dec 2020 12:36:05 GMT
Content-Type: text/plain;charset=UTF-8
Content-Length: 23
Connection: keep-alive
Strict-Transport-Security: max-age=15724800; includeSubDomains

[root@VM-0-3-centos ~]# ip addr | grep eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    inet 10.0.0.3/24 brd 10.0.0.255 scope global eth0

可以发现10.0.0.3这个服务器上可以访问，但是10.0.5.33确无法访问，这是因为10.0.0.3在我们配置的白名单里。

5. 永久重定向

我们可以在ingress配置域名的重定向，可以配置访问到其他链接，同时也可以配置重定向错误码，这里错误码值的范围是 300~308 ，超出这个范围就重置为默认301的值。

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    ingress.cloud.tencent.com/direct-access: "false"
    kubernetes.io/ingress.class: nwx-ingress
    kubernetes.io/ingress.extensiveParameters: '{"AddressIPVersion":"IPV4"}'
    kubernetes.io/ingress.http-rules: "null"
    kubernetes.io/ingress.https-rules: '[{"host":"example.tke.niewx.cn","path":"/","backend":{"serviceName":"springboot","servicePort":"8080"}}]'
    kubernetes.io/ingress.rule-mix: "true"
    nginx.ingress.kubernetes.io/permanent-redirect: https://www.baidu.com
    nginx.ingress.kubernetes.io/use-regex: "true"

这里我们在浏览器中输入example.tke.niewx.cn会强制跳转到百度页面

[root@VM-0-3-centos ~]# curl -I  -k  https://example.tke.niewx.cn
HTTP/1.1 301 Moved Permanently
Date: Wed, 30 Dec 2020 12:55:21 GMT
Content-Type: text/html
Content-Length: 162
Connection: keep-alive
Location: https://www.baidu.com
Strict-Transport-Security: max-age=15724800; includeSubDomains

下面我们重定向到baidu，然后让返回码是308

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    ingress.cloud.tencent.com/direct-access: "false"
    kubernetes.io/ingress.class: nwx-ingress
    kubernetes.io/ingress.extensiveParameters: '{"AddressIPVersion":"IPV4"}'
    kubernetes.io/ingress.http-rules: "null"
    kubernetes.io/ingress.https-rules: '[{"host":"example.tke.niewx.cn","path":"/","backend":{"serviceName":"springboot","servicePort":"8080"}}]'
    kubernetes.io/ingress.rule-mix: "true"
    nginx.ingress.kubernetes.io/permanent-redirect: https://www.baidu.com
    nginx.ingress.kubernetes.io/permanent-redirect-code: "308"
    nginx.ingress.kubernetes.io/use-regex: "true"

我们访问域名测试下，可以发下最终后端是baidu，并且返回吗是308

[root@VM-0-3-centos ~]# curl -I  -k  https://example.tke.niewx.cn
HTTP/1.1 308 Permanent Redirect
Date: Wed, 30 Dec 2020 12:57:28 GMT
Content-Type: text/html
Content-Length: 164
Connection: keep-alive
Location: https://www.baidu.com
Strict-Transport-Security: max-age=15724800; includeSubDomains

5. 客户端请求body的大小

我通过ingress给我的harbor配置一个域名，但是我上次镜像的时间报错了，报错413 Request Entity Too Large，这个是客户端上传镜像到仓库的请求body太大，需要怎么解决呢？其实ingress中提供了注解用来配置请求体的大小即可，加上注解nginx.ingress.kubernetes.io/proxy-body-size: 1000m，具体的大小限制根据自身需求配置即可。

apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    ingress.cloud.tencent.com/direct-access: "false"
    kubernetes.io/ingress.class: nwx-ingress
    kubernetes.io/ingress.extensiveParameters: '{"AddressIPVersion":"IPV4"}'
    kubernetes.io/ingress.http-rules: '[{"host":"harbor.tke.niewx.cn","path":"/","backend":{"serviceName":"harbor-1610088954-harbor-portal","servicePort":"80"}}]'
    kubernetes.io/ingress.https-rules: "null"
    kubernetes.io/ingress.rule-mix: "false"
    nginx.ingress.kubernetes.io/proxy-body-size: 1000m
    nginx.ingress.kubernetes.io/use-regex: "true"
  name: harbor-ingress
  namespace: harbor

6. http2-max-requests配置

问题现象：通过公网长连接访问后ingress后, 脚本每次请求1000次后,到1001次， grpc抛出: connections to all backends failing

github相关问题issue：https://github.com/kubernetes/ingress-nginx/issues/3028

解决方案：这里是因为nginx中http2-max-requests这个配置配置太小，建议的解决方法是参考https://trac.nginx.org/nginx/ticket/1250

链接的的建议When we set http2_max_requests 1000000, the possibility became very low.

这里在nginx-ingress需要设置下controller的全局configmap配置，在配置中加下如下配置即可

http2-max-requests: "1000000"

配置好之后，重启下nginx-ingress controller的pod即可。

7. nginx-ingress获取真实客户端ip

很多业务场景需要获取到真实客户端ip，如果是通过nginx-ingress提供访问，那么在后端的pod内怎么样才能获取到真实客户端ip呢？下面我们以nginx服务为例，当我们通过ingress的域名访问nginx服务，怎么样才能获取真实客户端ip。

如果不配置的话，nginx服务是获取不到真实客户端ip的。现在我们做如下配置

  • 修改nginx-ingress controller的入口service配置，将externalTrafficPolicy改成Local

  • 修改nginx-ingress controller的configmap配置，加上如下配置
  compute-full-forwarded-for: "true"
  forwarded-for-header: "X-Forwarded-For"
  use-forwarded-headers: "true"

修改后，nginx-ingress controller会自动加载configmap配置，我们在访问看看

这时候可以发现日志的客户端ip已经是真实的客户端ip了。

8. nginx-ingress代理tcp和udp服务

具体配置参考文档 https://www.niewx.cn/2021/11/09/2021-11-09-Use-Nginx-Ingress-to-expose-TCP-and-udp-services/

9. nginx-ingress同时支持http和https

大家在使用nginx-ingress的时候，经常会给域名配置证书，让域名走https协议访问，但是有的时候我们希望域名既能http访问，也能https访问， 当你在ingress配置了证书后，会发现通过http访问域名默认会跳转到https。

这个时候大家会有一个疑惑，我没配置强制跳转，为什么会http强制跳转到https呢？并且nginx-ingress不像云厂商一样支持混合协议的配置，如果我希望域名能同时通过http和https访问到，该怎么配置呢？下面我来给大家讲解下

首先你在ingress配置了证书，没配置强制跳转，但是http直接强制到了https，这是因为Ingress 启用了 TLS，控制器会使用 308永久重定向响应将HTTP客户端重定向到HTTPS端口 443，Ingress 里配置了 https 证书的话，默认就一定会走 https。

那么我们要如何关闭这个强制跳转呢？其实ingress提供一个注解来进行控制

nginx.ingress.kubernetes.io/ssl-redirect: “false”

如果你希望不进行强制跳转，那你在ingress加上这个注解即可。

从测试可以发现，加上注解后，http和https都可以进行访问了。

10. nginx-ingress实现金丝雀发布

参考tke官网文档配置即可 https://cloud.tencent.com/document/product/457/48907

11. nginx-ingress实现grpc转发

参考下面文档配置

https://cloud.tencent.com/developer/article/1970910

12. nginx-ingress如何开启tls 1.0和1.1

官网文档说明：https://kubernetes.github.io/ingress-nginx/user-guide/tls/

修改nginx ingress controller的配置文件，加上如下配置即可，tke控制台可以直接组件里面进行修改

ssl-ciphers: "ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA:ECDHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES256-SHA256:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:DES-CBC3-SHA"
ssl-protocols: "TLSv1 TLSv1.1 TLSv1.2 TLSv1.3"

13. nginx-ingress重试机制

问题现象：通过ingress的域名访问后端，调用一次，服务日志里显示调用了三次，nginx-ingress的请求日志出现了3次返回码

 - - [2022-09-14T11:40:27+00:00] 1663155627.705 "GET 
/api HTTP/1.1" 502 150 "-" "curl/7.29.0" 121 
3.073 [background-sino-xray-9091] [] [10.160.253.235:9091, 
10.160.253.235:9091, 10.160.253.235:9091] [0, 0, 0] [1.028, 1.024, 
1.024] [502, 502, 502] 7d407c28f5d7d2aae3afd0c368fbe9e5

问题原因：从访问日志看，nginx ingress controller出现3次调后端rs，为什么会调用了3次呢？这里是因为nginx本身的重试机制，具体参数可以参考文档

http://nginx.org/en/docs/http/ngx_http_proxy_module.html#proxy_next_upstream

但是为什么是重试3次呢，这里可以到nginx-ingress controller看下配置文件

proxy_next_upstream                     error timeout;  #哪些情况下应将请求传递到下一台服务器
proxy_next_upstream_timeout             0; # 限制可以将请求传递到下一台服务器的时间，0表示将关闭此限制
proxy_next_upstream_tries               3; # 限制将请求传递到下一台服务器的可能尝试次数。0表示关闭此限制

可以看出tke的nginx ingress controller默认是重试3次，因此日志里会显示调用了3次。如果要关闭重试，直接在全局configmap里proxy_next_upstream_tries设置为0

14. nginx-ingress无法reload全局配置

https://cloud.tencent.com/developer/article/2040556

原文地址：https://cloud.tencent.com/developer/article/1768089

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

APINginxTCP/IP网络安全

相关推荐

学习笔记：深入理解高性能代理服务器——Nginx
文章浏览阅读3.7k次，点赞2次，收藏5次。Nginx学习笔记一、Nginx 简介1. 什么是Nginx2. 反向代理3. 负载均衡4. 动静分离二、Nginx基本使用1. Nginx常用的操作命令2. Nginx的配置文件提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、Nginx 简介1. 什么是Nginx2. 反向代理3. 负载均衡4. 动静分离二、Nginx基本使用1. Nginx常用的操作命令2. Nginx的配置文件一、Nginx 简介1. 什么是Nginx  Nginx（“engine x”）是一个_nginx代理
Docker配置nginx
文章浏览阅读1.7w次，点赞14次，收藏61次。我们在使用容器的过程中需，有时候需要对容器中的文件进行修改管理，如果不做文件映射的化，我们使用docker exec -it 容器ID/容器名 /bin/bash 才能进入nginx中的文件里面如图。架设在客户机与目标主机之间，只用于代理内部网络对Internet的连接请求，客户机必须指定代理服务器，并将原本要直接发送到web服务器上的http请求发送到代理服务器中。A想要组C的房子，但是A并不认识C所以租不到，但是B认识C，A找B帮忙租到了C的房子。客户端代理服务器服务器。_docker nginx 配置
Nginx如何实现404错误自动跳转到首页
文章浏览阅读1.4k次。当用户在访问网站的过程中遇到404错误时，通常情况下应该显示一个友好的错误页面，而不是仅仅显示一个简单的错误提示。在Nginx中，可以通过配置来实现404错误自动跳转到首页的功能。如果您的网站使用动态内容生成页面（如PHP或其他服务器端语言），则应相应地修改配置以适应您的网站架构。这样，当用户访问一个不存在的页面时，Nginx会自动将其重定向到首页。为了使配置生效，需要重新加载Nginx配置。首先，需要打开Nginx的配置文件。现在，当用户访问一个不存在的页面时，Nginx会自动将其重定向到首页。_nginx 404 重定向
docker/docker-compose 部署 nginx+mysql+wordpress 实战
文章浏览阅读2.7k次。docker 和 docker-compose 部署 nginx+mysql+wordpress 实战_docker wordpress mariadb
windows下nginx的安装使用及解决80端口被占用nginx不能启动的问题
文章浏览阅读1.3k次。5：再次启动nginx，可以正常启动，可以在任务管理器中查看到nginx的进程。重新启动下 直接访问8090端口 ok 访问成功。1 ：查看80端口占用情况，pid的值为3960。3：在运行中输入regedit打开注册表编辑器。2： 通过以下命令查看3960所对应的服务名称。4：找到Start，右键修改将其制改为4。_nginx80端口无法访问
【Nginx篇】Nginx轻松上手
文章浏览阅读3.1w次，点赞105次，收藏182次。高性能：Nginx 被设计为能够处理大量并发连接而不显著增加系统负担。它采用异步事件驱动的架构，可以有效地处理高流量的 Web 请求。负载均衡：Nginx 支持负载均衡，可以将请求分发到多个后端服务器，以提高网站性能和可用性。反向代理：Nginx 可以充当反向代理，将客户端请求转发到后端服务器，隐藏后端服务器的真实 IP 地址，增加安全性和可扩展性。静态文件服务：Nginx 可以高效地提供静态文件（如 HTML、CSS、JavaScript、图像等）的服务，减轻应用服务器的负担。
Nginx性能优化
文章浏览阅读976次。nginx作为常用的web代理服务器，某些场景下对于性能要求还是蛮高的，所以本片文章会基于操作系统调度以及网络通信两个角度来讨论一下Nginx性能的优化思路。我们的大学教程大部分讲述七层模型，实际上现代网络协议使用的都是四层模型，如下图，应用层报文经过四层的首部封装到对端。对端链路层拆开首部查看mac地址是自己在网上，拆开ip首部查看目的地址是不是自己，然后到达传输层应用层完成报文接收。文章是基于原有个人知识基础上，对旧知识进行巩固，以及新知识实践学习。
Nginx 轻松搞定跨域问题
文章浏览阅读5.4k次，点赞9次，收藏15次。最后再说一种情况，就是后端处理了跨域，就不需要自己在处理了（这里吐槽下，某些后端工程师自己改服务端代码解决跨域，但是又不理解其中原理，网上随便找段代码黏贴，导致响应信息可能处理不完全，如method没添加全，headers没加到点上，自己用的那个可能复制过来的并不包含实际项目所用到的，没有添加options请求返回状态码等，导致Nginx再用通用的配置就会可能报以下异常）里面的就好了，因为这里如果是预检请求直接就ruturn了，请求不会再转发到59200服务，如果也删除了，就会报和情况1一样的错误。_nginx 允许跨域
踩坑日记-nginx server_name配置多域名的坑
文章浏览阅读2.5k次。项目配置了多个域名，如下，php 代码中有获取的值。当访问a.demo.com时，其获取的值是符合预期的。但是当访问b.demo.com时，其获取的值还是a.demo.com，导致代码中的判断出现错误。_nginxservername多个域名
ingress-nginx控制器安装
文章浏览阅读1k次，点赞2次，收藏5次。采用YAML manifest的方式来安装ingress-nginx，用registry.lank8s.cn镜像库来替换 registry.k8s.io的库。_ingress-nginx安装
Windows环境下编译nginx
文章浏览阅读1.6k次，点赞2次，收藏2次。在windows平台编译nginx_windows 编译nginx
【Nginx】入门看这一篇就够啦，nginx 简介、安装、工作原理、工作方式、详解配置文件
文章浏览阅读5.8k次，点赞2次，收藏18次。nginx [engine x] 是 HTTP 和反向代理服务器、邮件代理服务器和通用 TCP/UDP 代理服务器。nginx 的特点是占有内存少，并发能力强，事实上 nginx 的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。在高连接并发的情况下，nginx是Apache服务器不错的替代品，能够支持高达50000个并发连接数的响应。使用epoll and kqueue作为开发模型。_nginx
Linux启动（systemctl start nginx）nginx服务时出现：Failed to start nginx.service: Unit not found.
文章浏览阅读2k次。Linux启动（systemctl start nginx）nginx服务时出现：Failed to start nginx.service: Unit not found._为什么nginx的systemctl start nginx.service不能使用
Nginx的反向代理
文章浏览阅读1.3k次。重启之后，打开浏览器，输入http://localhost:8900/myBaidu，这时候就会自动的跳转到百度的页面。按照我们不同的需求修改nginx文件夹中的nginx-1.16.1conf里面的nginx.conf文件。启动nginx：打开nginx的文件夹，然后双击nginx.exe文件，启动nginx。打开之后假设我们需要跳转到百度则在配置文件nginx.conf中的下面加上。1、打开任务管理器关闭nginx的进程。端口在配置文件的（下图）进行查看nginx端口。_nginx 代理百度
nginx重定向问题解决（rewrite or internal redirection cycle）
文章浏览阅读5.7k次，点赞5次，收藏3次。nginx重定向问题解决（rewrite or internal redirection cycle）_rewrite or internal redirection cycle while internally redirecting to "/inde
在 Windows 中关闭 Nginx 所有进程
文章浏览阅读1.3k次。请注意，上述命令假设 Nginx 已经在系统的 PATH 环境变量中配置。如果没有，请提供正确的 Nginx 安装路径，或者在命令中使用完整的路径来替换。将该命令与所有 Nginx 进程的 PID 一起使用，以终止所有正在运行的 Nginx 进程。此命令将启动一个新的 Nginx 进程来重新加载配置文件并重新启动服务器。使用以下命令来终止所有 Nginx 进程（使用上面的 PID 替换。的进程以及它们的 PID。打开命令提示符（CMD）。此命令将列出所有名为。选项来强制终止进程。_windows 怎么关闭nginx
如何在 Ubuntu 上安装和使用 Nginx？
文章浏览阅读2.7k次，点赞2次，收藏7次。包括 Netflix、GitHub 和 WordPress。Nginx 可以用作 Web 服务器、负载均衡器、反向代理和 HTTP 缓存等。_ubuntu安装nginx
轻松搭建短域名短链接服务系统，可选权限认证，并自动生成证书认证把nginx的http访问转换为https加密访问，完整步骤和代码
文章浏览阅读915次。轻松搭建短域名短链接服务系统，可选权限认证，并自动生成证书认证把nginx的http访问转换为https加密访问，完整步骤和代码。_nginx 短链代理
流媒体方案之Nginx——实现物联网视频监控项目
文章浏览阅读1.1k次，点赞35次，收藏24次。流媒体方案之Nginx——实现物联网视频监控项目Nginx是什么Nginx在流媒体方案中的位置软硬件准备移植编译Nginx运行Ngnix测试流媒体方案浏览器播放_nginx-rtmp-module
nginx 配置 wss 协议
文章浏览阅读1.9k次。nginx 配置 wss 协议转发 ws 服务器_nginx 配置wss
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot