使用 slurm 在多节点上使用 Mpirun 的主机文件

如何解决使用 slurm 在多节点上使用 Mpirun 的主机文件

我有两个可执行文件，我想按以下方式运行： 对于每个节点，我想启动 N-1 个进程到 exe1 和 1 个 exe2

在以前的 slurm 系统上通过这样做：

#!/bin/bash -l
#SBATCH --job-name=XXX
#SBATCH --nodes=2
#SBATCH --ntasks-per-node=2
#SBATCH --mem=120GB
#SBATCH --time=04:00:00



module purge
module load intel/compiler/2020.1.217
module load openmpi/intel/4.0.5_2020.1.217


scontrol show hostname $SLURM_JOB_NODELIST | perl -ne 'chomb; print "$_"x1'> myhostall
scontrol show hostname $SLURM_JOB_NODELIST | perl -ne 'chomb; print "$_"x1'>>myhostall

mpirun --mca btl_openib_allow_ib 1 --report-bindings -hostfile myhostall -np 2 ./exe1 : -np 2 ./exe2

在这个例子中，我有两个节点，每两个任务/节点。因此，exe1 应该从每个节点有 1 个等级，对于 exe2 也是如此。

如果我说cat myhostall：

come-0-12
come-0-13
come-0-12
come-0-13

但是在我的代码中，当使用 MPI_GET_PROCESSOR_NAME 打印处理器名称时，结果表明 exe1 都打印 come-0-12 并且 exe2 都打印 come-0-13。

所以问题来了：

如何将每个节点的 N 个任务指定给 exe1 并将每个节点的 M 个任务指定给 exe2

解决方法

您可以指定 2 个主机文件，每个 exe 一个

例如

mpirun -np 2 --hostfile hostfile_1 exe1 : -np 2 --hostfile hostfile_2 exe2

在每个主机文件中，您可以指定每个 exe 将在每个节点上使用多少个插槽。

例如（在https://www.open-mpi.org/faq/?category=running#mpirun-hostfile处查看更多信息），如果您希望 exe1 和 exe2 从每个节点都有 1 个 CPU，则 hostfile_1 和 hostfile_2 可以是相同的，甚至可能是相同的文件：>

node1 slots=1
node2 slots=1

但是，如果 hostsfile_1 和 hostfile_2 包含相同的节点，mpirun 可能会重新分配任务，因为它“认为”更优化。

另一种方法是指定相同的主机文件并使用“--map-by node”指令（默认行为是“--map-by slot”），例如：

mpirun -hostfile hosts.txt -np 2 --map-by node ./exe1 : -hostfile hosts.txt -np 2 --map-by node ./exe2

hosts.txt 包含的位置：

node1 slots=2
node2 slots=2

在我的情况下给出（OpenMPI-4.0.4）

EXE1 from processor node1,rank 0 out of 4 processors
EXE1 from processor node2,rank 1 out of 4 processors
EXE2 from processor node1,rank 2 out of 4 processors
EXE2 from processor node2,rank 3 out of 4 processors

还可以潜在地使用 rankfiles（如果您使用 OpenMPI）来更明确地将任务绑定到特定的 CPU，但它可能有点麻烦...