如何解决在运行时在Tensorflow Serving中定期和动态交换模型的最佳方法?
我在生产中使用Tensorflow Serving框架提供了模型。
我想用这些模型开始A / B测试,我想知道在这里开始这种类型的实验的最佳策略是什么。
具体地说,我希望能够每半小时动态地在不同的模型之间切换,并为来自网关的同一呼叫提供不同的预测响应。
根据这些讨论:
TensorFlow Serving: Update model_config (add additional models) at runtime
和此文档页面:
https://www.tensorflow.org/tfx/serving/serving_config#reloading_model_server_configuration
我知道这是有可能的,但是我确实可以利用实用指南来实现自己的目标。
解决方法
不确定这对您有多大帮助,但分享我的经验: 如果您使用的是GCP,则GoogleStorage gs存储桶中的TensorflowServing轮询模型 并选择模型的最新版本
但是要使用相同的API,TFX允许使用您上面提到的modelConfig与配置model_config_file_poll_wait_seconds
一起使用,因此基于此,它将轮询您的配置,并以此方式有助于为测试交换模型
和模型配置可以设置为:
model_version_policy { specific { versions: 1 versions: 2 } }
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。