如何解决同时运行同一程序的多个版本
我有一个需要花费一天时间运行的python脚本。我需要为不同的参数运行相同的代码。但是,使用for循环遍历所有参数是不可能的,因为这将导致更长的计算时间。 这是描述情况的简单示例:
ValuesParams=[1,2,3,4,5]
for i in ValuesParams:
do something
output file_i.csv
我想运行5个具有5个不同值的不同程序(在计算机群集中),它们输出5个具有不同名称的不同csv文件,但同时执行。因为在单个程序中运行for循环需要5天。 实际上,它不仅是5个参数,而且程序不是一个简单的循环。
我该怎么做? 有关寻找内容的任何建议或信息都将非常有用。
编辑 感谢所有答复,特别是谨记。他们把我带到寻找答案的路上。
解决方案1:我创建了一个脚本RunPrograms.sh,该脚本遍历参数var1,var2,然后将参数传递给我的python脚本test.py并同时运行所有作业。一个限制仍然存在,我必须小心同时发送1000个作业,但这正是我所需要的。
#!/bin/bash
for var1 in $(seq 1 0.5 3); do
for var2 in $(seq 1 3); do
python3 test.py $var1 $var2 &
done
done
并在python脚本中:
import sys
a=float(sys.argv[1])
b=float(sys.argv[2])
def Code(a,b)
do_something
解决方案2:在python脚本中使用多处理以及starmap来传递多个参数:
def Code(T,K):
do_something
RangeT=np.linspace(0.01,0.05,num=10)
RangeK=[2,4]
Z=list(itertools.product(RangeT,RangeK))
if __name__ == '__main__':
pool = Pool(4)
results = pool.starmap(Code,Z)
解决方法
您可以在Python代码中使用ProcessPoolExecutor
:
from concurrent.futures.process import ProcessPoolExecutor
ValuesParams=[1,2,3,4,5]
with ProcessPoolExecutor(5) as pool:
pool.map(do_something,ValuesParams)
或者您可以在shell级别上工作,并使用不同的命令行参数简单地多次运行程序,例如使用parallel
:
parallel python myscript.py -- "1" "2" "3" "4" "5"
import sys
i = int(sys.argv[1])
do_something(i)
output file_i.csv
,
您可以使用线程
import threading
def something(arg):
pass
ValuesParams=[1,5]
for i in ValuesParams:
thread=threading.Thread(target=something,args=(i,))
thread.start()
,
您可以查看parallel processing with xargs。
一个简单的示例是time head -12 <(yes "1") | xargs -n1 -P4 sleep
,它将运行12个sleep 1命令,4个并行命令。该命令将花费3秒钟。
首先检查您要并行运行多少个进程(我认为全部5个,但也许您想从3个开始)。对于您的情况,当您要使程序program1
.. program5
最多运行3个并行程序时,请使用:
printf "%s\n" {1..5} | xargs -I"{}" -P3 bash -c 'program{} > file_{}.csv'
如果要先进行上述测试,请使用
echo "Start at $(date +%S)"; printf "%s\n" {1..5} |
xargs -I"{}" -P3 bash -c 'sleep 2; echo "program {} finished at $(date +%S)" | tee file_{}.csv'
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。