如何解决PyTorch数据集序列化和使用YAML配置文件的最佳实践
我有两个问题:
-
通常我们会在一个数据集上进行多个实验,而且经常我们也有很多预处理步骤要对已有的数据执行。我想知道在预处理后序列化数据的最佳实践是什么?是否最好将整个
torch.utils.data.Dataset
对象序列化?仅仅生成一个预处理的文本文件并从中读取输入的内容也许更好?使用泡菜/莳萝有什么喜好吗?随时详细说明并回答我没有提出的任何其他相关问题,但您认为这很重要。 -
机器学习中的常见做法是使用YAML配置文件为数据预处理管道,模型,层,超参数等指定各种内容。是否有使用YAML配置文件的最佳实践?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。