Ubuntu在网络处理方面的局限性

如何解决Ubuntu在网络处理方面的局限性

Ubuntu OS上是否存在最大机器可处理请求数量的限制？

为了开始解决这个问题，我创建了一个Nginx代理服务器，其中一个后端服务器处理传入的POST请求。接下来，我将使用软件包pycurl以每个请求.001秒的总时间（即1000个请求/秒）向代理服务器地址发送1000个请求。 （我也使用了类似结果的python包请求）。在服务器端，大约需要4秒钟或250 rps的速率来完成请求。

当我将此数字扩展为每请求一次以0.001秒发送10,000个请求（仍为1000 rps）时，似乎对Nginx代理服务器在被处理之前可以接收的请求数量有一些限制。该限制似乎是1200。

事件顺序

1. 请求以1000 rps的速率从客户端发送到代理服务器，共10,000个请求。
2. nginx服务器收到一定数量的请求（大约1200个），并批量响应。 （在发送请求时，我检查https：// IP_Address / nginx_status。可以在http://nginx.org/en/docs/http/ngx_http_stub_status_module.html上找到Nginx状态信息）。信息显示，nginx代理服务器收到的请求数量从〜1200跳到〜2400跳到〜3600，依此类推。
3. 批处理中的请求得到处理。
4. 下一批似乎准备好处理之前，发生了明显的时间延迟。
5. 此过程一直进行到完成。

以1000 rps的速率处理来自客户端的总共10,000个请求，使用一台后端服务器和代理服务器，服务器端rps仍达到约250。

我扩展了后端，增加了八个线程，以为这会提高吞吐量响应率。 （正在使用的计算机是具有8个内核的AWS Lightsail实例）。但是，事实并非如此。 （我已经用尽了几乎所有的Nginx代理服务器配置设置，这不是问题）。即使有8个线程和一个代理服务器，服务器端的RPS也达到了大约250 rps，并且似乎发生了相同的批处理请求处理。 （同样，通过查看发送请求时的nginx状态来检查这一点。）

我还测试了将请求直接发送到其中一台后端服务器的能力，吞吐量再次达到约250 rps。您会想象增加/减少线程数会影响结果，但是相反，它们都只能以大约250 rps的速度处理传入的POST请求。

已编辑：后端服务器进程大约需要.0002秒才能读入请求并发出响应。 （该指标不包括网络延迟）。后端是一个超短过程，它在收到请求后会计算一个数字。

设置

客户端--->代理服务器--->一个线程处理响应〜250 rps

客户端--->代理服务器--->八个线程处理响应〜250 rps

client --->一个线程处理响应〜250 rps

同样，这些是POST请求，而不是GET请求。 （正在发送的数据包不大）。

鉴于此背景信息，是否存在某些操作系统级别的设置来限制计算机可以处理或接收请求的速率？如果是这样，那该如何改变？如果不是，是否存在可能导致此问题的网络限制？如果是这样，我该如何测试或更改这些限制？

解决方法

[这是我的评论的更新副本]

关于nginx，这可能与以下内容有关：https://www.nginx.com/blog/tuning-nginx/#Tuning-Your-NGINX-Configuration-选中worker_processes和worker_connections。

除了它似乎受到后端服务器的限制外，您还没有对它的外观以及它如何处理请求进行过多说明。您应该监视/跟踪您的过程，以确定它在做什么。 您还可以使用netstat，ss，tcpdump等工具。监视和跟踪后端服务器上的连接。

限制之一显然是可用于连接的最大端口数：对于单个源和目标，这大约为28K（https://blog.box.com/ephemeral-port-exhaustion-and-web-services-at-scale）-如果您正在快速创建和关闭连接时，可能会受到TIME_WAIT状态（请参见上面的链接）的限制（当关闭连接时，每个套接字都移至该状态）。 但是，您说您最多生成了1万个连接，因此似乎有所不同。