如何解决如何在Python中将两台计算机连接到H2O群集
我有两台计算机要连接到单个H2O群集。一个拥有4个核心,另一个拥有6个核心。
h2o.init(ip = '10.0.0.89',port = 54321)
在第一台计算机上,我得到以下输出:
H2O cluster uptime: 1 minutes 56 seconds 846 milliseconds
H2O cluster version: 3.8.2.3
H2O cluster name: H2O_started_from_python_samerens_dii030
H2O cluster total nodes: 1
H2O cluster total free memory: 3.4 GB
H2O cluster total cores: 4
H2O cluster allowed cores: 4
H2O cluster healthy: True
H2O Connection ip: 10.0.0.89
H2O Connection port: 54321
H2O Connection proxy: None
Python Version: 3.7.4
当我在第二台计算机上运行相同的命令时,我得到相同的输出(当然,正常运行时间除外)。总节点数不应该增加到2,核心总数应该不应该增加到10吗?做错什么了吗?
解决方法
您当前正在做的是在一台计算机上启动H2O集群,然后从另一台计算机连接到它(这是当您希望两个用户可以访问同一H2O集群共享数据/模型时的情况。 )。
您想要做的是启动一个多节点H2O集群。尚不清楚这是否会加快您的培训速度,因为使用多节点群集时会产生通信开销,因此检查始终是一件好事。如果要添加更多核心,例如40 + 40(总共80个核心),我希望在大多数情况下可以加快速度,但是将4增至6可能并没有太大帮助(我只是想强调一下,在6个核心单核上测试训练速度是很好的机器集群与10核心多核集群)。 《 H2O用户指南》 here中有相应的说明。还有关于H2O群集here的常见问题解答。如果文档不够清晰,请告诉我(我注意到示例/信息有些稀疏)。
最后,如果您特别想使用Amazon EC2进行集群,则有关here的更多信息。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。