如何解决这个API回应时间正常吗?
我目前正在用Python(Flask)编写RESTful API,其中uWSGI作为WSGI,NGINX作为反向代理。
原理很简单:
- 客户端POST请求通过其主体中的一个小型JSON对象到达服务器
- 先通过NGINX,然后通过uWSGI,请求到达我的Python可调用对象,后者依次调用后端子进程来处理数据处理
- 后端数据处理全部受CPU限制,没有IO。对于单个JSON对象,服务器空闲时的原始数据处理时间约为800毫秒
- 后端返回原始数据,然后将其以JSON序列化,并由可调用的Python返回给uWSGI,然后返回给NGINX,最后返回给客户端
服务器具有8个单核单线程CPU 。
NGINX被配置为具有自动数量的侦听器(在这种情况下,侦听器的数量达到8个),并且总体上具有很好的香草感。
这是uWSGI配置:
[uwsgi]
strict = true
need-app = true
master = true
processes = 8
single-interpreter = true
enable-threads = false
max-requests = 1000
max-worker-lifetime = 7200
reload-on-rss = 1024
worker-reload-mercy = 60
harakiri = 60
disable-logging = true
log-4xx = true
log-5xx = true
logto = uwsgi.log
vacuum = true
使用Jmeter(16至32个线程)运行负载测试,此API的吞吐量似乎稳定在7至8个请求/秒,每个单独的请求最多需要> 4000ms的延迟(获得响应的时间为最大负载)。在测试期间,服务器的所有8个CPU都被使用。
增加uWSGI进程的数量(固定的或具有便宜且繁忙的配置)似乎确实在损害吞吐量和延迟-在任何情况下,肯定都没有得到任何好处。
在我的硬件和软件配置下,这种行为(尤其是个人请求从800ms到4000ms的延迟暴涨)是正常的吗?还是我错过了某些东西?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。