如何解决FastAPI工作者超时
某些背景:
我不确定是否需要以下详细信息来回答我的问题,但仅提供参考。我正在开发执行以下操作的FastAPI POST端点:
- 接收图像文件(multipart / form-data)
- 将文件流转换为numpy数组。
- 使用打开的CV和张量流处理图像
使用gunicorn和uvicorn将API部署在Google App Engine Flex(1-4个核心,1-4个工作人员)上。当我呼叫端点时,平均响应时间约为1秒。但是,当我使用5个并发用户对API进行负载测试时,每个请求的平均响应时间约为4-5秒,然后一些uvicorn工作者开始超时并被杀死。结果,我从nginx服务器收到502个响应。
我的问题如下:
由于uvicorn的默认超时为30秒,所以我不理解为什么工人们需要30秒才能响应才被终止。我已经读到30秒超时不是每个请求。但是,我不知道工人应该在哪种情况下超时。例如,如果所有工作人员都设法在5-10秒内做出响应,那么在超时阈值为30时看到工作人员超时是正常的吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。