在同一gitlab CI管道内重用conda环境？ 动机研究结果问题

如何解决在同一gitlab CI管道内重用conda环境？ 动机研究结果问题

动机

我的主要目标是：在管道中，我想尽可能地重用（即，如果所有作业共享同一环境，则不要多次构建conda环境）。。 >

在我的项目中，我使用conda作为依赖性管理器，并使用gitlab ci / cd进行持续集成。为了简单起见，假设我有一个 build 作业和一个 test 作业。最直接的方法是在任何工作中都使用environment.yml创建conda环境，然后进行实际工作。这给任何作业增加了几分钟的开销。这对我来说似乎也很麻烦，因为我想在 build 作业中先构建一次环境，然后在我的 test 作业中使用它（尤其是在为不同的测试）。

研究结果

我要做的第一件事是将CONDA_ENVS_PATH设置为项目目录中的某个位置。

我研究了gitlab的缓存机制，但是发现它仅对同一管道的重复运行中的同一作业有帮助，而对管道中同一运行的不同作业无济于事。

我也研究了gitlab的工件机制，但是发现由于这些的上载和下载，它们不会显着增加运行时间（基本上，我只通过不下载许多小软件包而不必编译来节省时间再次进行压缩，但通过压缩和解压缩可以节省时间。

在我的 test 工作中，我还尝试通过将GIT_CLEAN_FLAGS设置为none来使用。这样，从git获取最新数据时不会删除conda环境。这确实导致了我的管道的严重加速，但并非始终如此。有些作业失败，无法找到conda环境。但是，简单的重新运行确实可以神奇地工作。当然，在CI / CD设置中，这种不确定性是不切实际的。

作为原始问题的解决方法，我们提出了一个中间解决方案。我们通过一个最小的Dockerfile以及一个对.gitlab-ci.yml的更改（一个示例，请参见下面的示例）来引入一个Docker镜像，其中包含我们的自定义环境。通过仅在dockerfile或环境更改时执行构建自定义docker映像的作业，我们可以在每次运行时节省宝贵的时间。同时，我们保留了环境定义的全部灵活性，并且可以通过更改environment.yml来像平常一样精确地调整它。

问题

到目前为止，所有尝试过的解决方案都不能令人满意。因此，我的问题是：我的 test 作业如何与gitlab-ci中的 build 作业重复使用相同的conda环境？

---

以防其他人想要使用类似的设置：这是我目前的方法：

# Dockerfile

FROM continuumio/miniconda3:latest

COPY environment.yml .

RUN conda env create -f environment.yml

ENTRYPOINT [""]

# .gitlab-ci.yml

# Use the latest version of this project's docker file
# This will be the default image for all jobs unless specified otherwise
image: $CI_REGISTRY_IMAGE:latest


# Change cache directories to be inside the project directory since we can
# only cache local items.
variables:
  PRE_COMMIT_HOME: "${CI_PROJECT_DIR}/.cache/pre-commit"


stages:
  - build
  - test


# Make conda environment available to all jobs
# This expects the conda environment to have the same name as the gitlab project path
# Avoid dashes and other non-alphabetical characters
default:
  before_script:
    - source activate "${CI_PROJECT_NAME}"

# Build the docker image including the correct conda environment for subsequent jobs
# This assumes a docker image registry being configured for your gitlab instance
dockerimage:
  stage: build
  image:
    name: gcr.io/kaniko-project/executor:debug
    entrypoint: [""]
  rules:
    - changes:
      - Dockerfile
      - environment.yml
  before_script: [ ]
  script:
    - mkdir -p /kaniko/.docker
    - echo "{\"auths\":{\"$CI_REGISTRY\":{\"username\":\"$CI_REGISTRY_USER\",\"password\":\"$CI_REGISTRY_PASSWORD\"}}}" > /kaniko/.docker/config.json
    - /kaniko/executor --context $CI_PROJECT_DIR --dockerfile $CI_PROJECT_DIR/Dockerfile --destination $CI_REGISTRY_IMAGE:latest


# Run pytest
pytest:
  stage: test
  script:
    - conda install pytest-cov
    - pytest tests --cov=src

---

编辑：我将使用GIT_CLEAN_FLAGS的示例代码替换为我们最近的方法：使用自定义docker镜像。

---

免责声明：我看到了this和this的问题，但是它们都过时了，没有令人满意的答案，我只在写完这个问题后才找到它们，所以希望我的其他问题有所增加主题的可发现性。