如何解决使用AWS Sagemaker获得模型性能而无需创建终端节点
我一直在使用Amazon Sagemaker笔记本为NLP任务构建pytorch模型。 我知道您可以使用Sagemaker进行训练,部署,超参数调整和模型监视。
但是,您似乎必须创建一个推理端点才能监视模型的推理性能。
我已经有一个EC2实例设置,可以在我们的模型上执行推理任务,该模型当前在开发箱中,而不是使用端点制作
是否可以在不创建端点的情况下使用Sagemaker进行训练,运行超参数优化和评估模型。
解决方法
如果您不想保持推理端点正常运行,一种选择是使用SageMaker Processing运行一项作业,该作业将您训练有素的模型和测试数据集作为输入,执行推理并计算评估指标,然后将它们保存到S3在JSON文件中。
This Jupyter notebook example逐步执行(1)预处理训练和测试数据,(2)训练模型,然后(3)评估模型
,您可以使用两种方法在 AWS SageMaker 上部署模型:设置终端节点和创建批量转换作业。我想你可能可以尝试后者。
使用批量转换作业的好处是您可以为输入和输出数据指定 S3 存储桶路径。作业完成后,会直接上传输出到s3路径。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。