如何解决Slurm 工作负载管理器的作业提交问题
我使用的计算机集群有 20 个节点,每个节点有 16 个 CPU。我尝试使用命令“sbatch XX.sbatch”向所有节点提交 1000 个作业。我想要的是同时运行 320 个作业,即每个节点 16 个作业,或每个 CPU 1 个作业。
当我使用 .带有 XX sbatch 文件中参数的 sbatch 文件是
#!/bin/bash
# Interpreter declaration
#SBATCH -N 1
#SBATCH -n 1
#SBATCH -c 1
#SBATCH -J job_XX
./example.sh
我注意到每个节点上只有 1 个作业正在运行。
然后我尝试了
#!/bin/bash
# Interpreter declaration
#SBATCH -N 20
#SBATCH -n 1
#SBATCH -c 1
#SBATCH -J job_XX
./example.sh
我注意到只有 1 个作业在 20 个节点中运行,即每 20 个节点运行 1 个作业。
然后我尝试了
#!/bin/bash
# Interpreter declaration
#SBATCH -N 20
#SBATCH -n 320
#SBATCH -c 1
#SBATCH --ntasks-per-node=16
#SBATCH -J job_XX
./example.sh
仍然有 1 个作业使用了所有 20 个节点。
有人知道怎么解决吗?谢谢。
解决方法
好吧,如果您想要多个作业,则需要提交多个作业。如果您只调用 sbatch XX.sbatch
一次,则只会创建一个作业(不完全正确,见下文)。
如果你想创建 1000 个作业,你可以简单地继续创建一个 for 循环来提交 1000 个作业:
for i in {1..1000}
do sbatch XX.sbatch
done
这将创建 1000 个作业,每个作业具有 1 个核心(如果我们以您的第一个作业脚本为例),它们将填满所有可用的 320 个作业空缺。 但是: 在像这样的 for 循环中调用 sbatch 对调度程序来说并不好。有一种更好的方法可以提交多个类似的作业:作业数组。
它们一次提交任意次数的单个作业脚本。在作业脚本中,您可以使用环境变量(例如 $SLURM_ARRAY_TASK_ID
)来控制您的脚本,使它们都完全相同。
以你的第一个作业脚本为例:
#!/bin/bash
# Interpreter declaration
#SBATCH -N 1
#SBATCH -n 1
#SBATCH -c 1
#SBATCH -J job_XX
#SBATCH --array=0-1000
#Do something with the env vars e.g. use them as parameters for your script
./example.sh $SLURM_ARRAY_TASK_ID
使用 sbatch XX.sbatch
提交时,这会一次创建 1000 个作业,每个作业使用一个内核,因此填满了所有 320 个可用内核。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。