如何解决喀拉拉邦的多GPU培训真正意味着什么？
我发现，第二个GPU的训练速度几乎翻了一番。但是我无法弄清楚（或者可能被忽略了）作者是使用模型并行性还是数据并行性（或其他）。
使用2个GPU可以带来什么样的性能提升。 （一半时间？）
额外：如果它能像上面所说的那样工作，我想知道我是否可以组合2个不同的GPU（没有NVLink），例如3080和3090。
注意：我将无法使用NVLink。 编辑： @runDOSrun浮点或双序列（大约1.000-15.000行和大约10-100列），1-2M样本
[ 89.319787 1.329743 99.234670 ... 52.329743 0.319787 2.319787 ]
[ 84.319787 1.329743 49.329743 ... 52.329743 0.319 2.319787 ]
[ 12.319787 1.329743 33.329743 ... 52.329743 0.319787 2.319787 ]
...
[ 84.319787 1.329743 49.329743 ... 52.329743 0.319 2.319787 ]
[ 12.319787 1.329743 33.329743 ... 52.329743 0.319787 2.319787 ]
[ 33.319787 1.329743 23.329743 ... 52.329743 0.319787 2.319787 ] ]
批处理大小为8、16或32的LSTM，具有这些层[700,700,64,32]在2个RTX 3080或1x3080 + 1x3090上
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。