如何解决ipcluster 等待对象完成上传到引擎
上传(即推送)对象到ipcluster引擎,我可以使用dview字典接口:
dview['object_name'] = object # "upload command"
有时,当对象非常大时,将对象上传到所有引擎需要一段时间。
我有几个问题:
- 有没有办法(使用现有工具)编写代码以等待对象完全加载到所有引擎?
- 当对象太大和/或鉴于对象内存要求有太多引擎时,有没有办法(使用现有工具)监控总内存以避免
MemoryError
?
通常我只是在另一个终端窗口中关注 watch free -h
,或者在代码中添加一个睡眠定时器,但我希望有更具体的方法来实现这一点(例如,而不是猜测睡眠多长时间以确保完整上传),特别是如果我想重新启动并从上到下运行笔记本或从命令行执行脚本 - 如果在将对象上传到引擎后代码移动得太快(代码执行上传命令但对象仍在加载到引擎)尝试检索作业的结果时会出现错误,因此笔记本不会运行完成。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。