K8S Ingress：如何限制每个 Pod 的飞行请求

如何解决K8S Ingress：如何限制每个 Pod 的飞行请求

我正在移植一个应用程序以在 k8s 中运行。我遇到了入口问题。我试图找到一种方法来限制在任何给定时间向部署管理的每个后端 pod 发送的 REST API 请求数量。

见下图，展示了架构。

Ingress 由 nginx-ingress 管理。对于一组给定的 URL 路径，入口将请求转发到以部署 REST API 后端进程为目标的服务。部署也由基于 CPU 负载的 HPA 管理。

我想要做的是找到一种方法来对入口请求进行排队，以便在运行我们的 API 后端进程的任何 pod 中发送的请求永远不会超过 X 个。（例如，每个 pod 一次只允许 50 个请求）

有人知道如何像这样设置请求限制吗？

作为一个额外的问题，我接下来需要做的是让 HPA 监控请求排队并自动扩展/缩减部署，以将 pod 的数量与当前正在处理/排队的请求数量相匹配。例如，如果每个 pod 可以同时处理 100 个正在运行的请求，而我们目前要处理的负载水平为 1000 个请求，那么自动缩放到 10 个 pod。

如果有用，我还计划为这个集群安装 linkerd。也许它有一种能力可以提供帮助。

解决方法

Nginx 入口允许使用 annotations 进行速率限制。您可能想看看AnnotatedRegion<SystemUiOverlayStyle>( value: SystemUiOverlayStyle( statusBarColor: Colors.transparent,//set as per your status bar color systemNavigationBarColor: Colors.black,//set as per your navigation bar color statusBarIconBrightness: Brightness.dark,//set as per your status bar icons' color systemNavigationBarIconBrightness: Brightness.dark,),child: MaterialApp(：

limit-rps：每秒从给定 IP 接受的请求数。突发限制设置为此限制乘以突发倍数，默认倍数为5。当客户端超过此限制时，返回limit-req-status-code default: 503 .

最重要的是，NGINX 会将您的请求与 leaky bucket algorithm 一起排队，因此传入的请求将使用 FIFO（先进先出）算法缓冲在队列中，然后以有限的速率消耗。在这种情况下，突发值定义了允许请求超出超出限制的队列大小。当这个队列已满时，下一个请求将被拒绝。

有关限制流量和整形的更多详细信息：

网络请求中的自动缩放需要自定义指标。鉴于您使用的是 NGINX 入口控制器，您可以先安装 prometheus 和 prometheus 适配器以从 NGINX 入口控制器导出指标。默认情况下，NGINX 入口控制器已经暴露了 prometheus 端点。

关系图会是这样的。

NGINX ingress <- Prometheus <- Prometheus Adaptor <- custom metrics api service <- HPA controller

箭头表示 API 中的调用。因此，您的集群中总共将多出三个提取组件。

设置自定义指标服务器后，您可以根据来自 NGINX 入口的指标扩展您的应用。 HPA 将如下所示。

apiVersion: autoscaling/v2beta1
kind: HorizontalPodAutoscaler
metadata:
  name: srv-deployment-custom-hpa
spec:
  scaleTargetRef:
    apiVersion: extensions/v1beta1
    kind: Deployment
    name: srv-deployment
  minReplicas: 1
  maxReplicas: 100
  metrics:
  - type: Pods
    pods:
      metricName: nginx_srv_server_requests_per_second
      targetAverageValue: 100

我不会在这里详细介绍实际的实现，因为它会包含很多特定于环境的配置。

设置完成后，您可以看到 HPA 对象将显示从适配器中提取的指标。

对于 Service 对象级别的速率限制，您需要一个强大的服务网格来执行此操作。 Linkerd2 被设计为轻量级的，因此它不附带速率限制功能。您可以在 linkerd2 下参考此问题。维护者拒绝在服务级别实施速率限制。他们会建议您改为在 Ingress 级别执行此操作。

AFAIK、Istio 和一些高级服务网格提供了速率限制功能。如果您还没有将 linkerd 部署为您的服务网格选项，您可以尝试使用 Istio。

对于 Istio，您可以参考 this document 了解如何进行速率限制。但是我需要让您知道带有 NGINX 入口的 Istio 可能会给您带来麻烦。 Istio 附带有自己的入口控制器。您需要进行额外的工作才能使其发挥作用。

总而言之，如果您可以将 HPA 与请求数量的自定义指标一起使用，它将是解决您在流量控制方面问题的快速解决方案。除非您在交通控制方面仍然遇到困难，否则您将需要考虑 Service 级别的速率限制。

也许您应该考虑实施 Kubernetes Service APIs

K8S Ingress：如何限制每个 Pod 的飞行请求

如何解决K8S Ingress：如何限制每个 Pod 的飞行请求

解决方法

相关推荐