如何解决我可以让一个端点同时在AWS SageMaker上调用多个模型吗
我有多个训练有素的模型和相应的模型工件。模型工件保存在不同的S3位置。客户将发送一个请求,每个模型将复制此请求的一个副本,进行预测并发送响应。我的问题是:
- 如果所有模型都使用同一容器,则我想创建一个端点,客户将请求发送到端点,端点将请求发送到每个模型,在模型完成预测后,端点将从模型收集所有预测,并进行合并他们,并将其发送回客户,SageMake可以做到吗?我读了《具有多模型端点的SageMaker主机多个模型》,但是它的作用是每次为每个请求调用一个模型。我想要的是同时调用多个模型,并结合预测并通过一个端点将其发送回客户。
- 如果不同的模型使用不同的容器,其余与列表1相同,是否可以在AWS SageMaker上完成?
谢谢! 亚瑟
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。