如何运行一些配置命令以允许Makefile在数据处理项目中正常运行？

如何解决如何运行一些配置命令以允许Makefile在数据处理项目中正常运行？

我正在使用Makefile运行相对较小的数据科学处理项目（通常涉及运行10-15个python脚本）。

我想在makefile的开头正确设置我的项目文件夹，这样做可以使其他用户复制该过程，其中包括：

• 创建替换驱动器，以避免文件空间太长的文件路径超出我的控制范围
• 创建文件夹以容纳输出数据
• 创建并设置新的python环境

我尝试通过以下方式进行此操作：

config :
    subst A: "B:\Network Drive\with-lots\Of Spaces (and other issues)"
    mkdir output-data
    conda create -n new_env 
    conda activate new_env
    pip install requirements.txt


output-data/file1.csv : script_one.py Q:/inputfile1.csv
    python $^ $@

...

这里的主要问题是，多次运行此命令将产生错误，导致make停止，因为将完成路径替换，将创建目录，并且已经建立了环境。

是否有更好的方法允许config虚拟目标仅运行一次，或者至少让它运行需要运行的每个命令而不会由于错误而关闭？

或者是否有更好的方法为其他人设置可复制的环境，以使其在自己的系统上运行，即在Makefile之外？

解决方法

您可以创建一个标记为空的文件，以表明配置步骤已经完成：

.config.done:
    subst A: "B:\Network Drive\with-lots\Of Spaces (and other issues)"
    mkdir output-data
    conda create -n new_env 
    conda activate new_env
    pip install requirements.txt
    touch $@

output-data/file1.csv: .config.done script_one.py Q:/inputfile1.csv
    python $^ $@

...

但是更好的解决方案是通过查看结果文件或目录来了解每个配置步骤是否已完成。例如，mkdir output-data很简单：如果存在output-data，我们知道已经完成了，那么您可以将output-data添加为下一步的仅订购先决条件（仅订购，因为它是一个目录，您只关心它的存在，而不关心它的最后修改时间。这样，如果一个步骤失败，则不会创建相应的文件或目录，则整个make运行将会失败，并且在解决了需要的内容之后，您可以从停止位置重新开始配置。

如果没有要查看的结果文件或目录，可以使用与上述相同的空文件技巧。

然后您可以使用更精细的描述来描述您的配置：

.PHONY: config

config: .requirements.installed

.requirements.installed: .new_env.activated
    pip install requirements.txt
    touch $@

.new_env.activated: .new_env.created
    conda activate new_env
    touch $@

.new_env.created: | output-data
    conda create -n new_env
    touch $@

output-data: .subst-A.done
    mkdir $@

.subst-A.done:
    subst A: "B:\Network Drive\with-lots\Of Spaces (and other issues)"
    touch $@

output-data/file1.csv: config script_one.py Q:/inputfile1.csv
    python $^ $@

通过删除一些依赖项，您甚至可以并行化配置（如果使用-j选项运行make）：

.PHONY: config

config: .subst-A.done .new_env.activated .requirements.installed | output-data

.requirements.installed:
    pip install requirements.txt
    touch $@

.new_env.activated: .new_env.created
    conda activate new_env
    touch $@

.new_env.created:
    conda create -n new_env
    touch $@

output-data:
    mkdir $@

.subst-A.done:
    subst A: "B:\Network Drive\with-lots\Of Spaces (and other issues)"
    touch $@

output-data/file1.csv: config script_one.py Q:/inputfile1.csv
    python $^ $@